search

dataverbinders / toepol

Making Dutch open data more easily accesible
0 stars 0 forks source link

Als data engineer wil ik een oplossing voor referential integrity voor verschillende storage platformen #2

Open dkapitan opened 2 years ago

dkapitan commented 2 years ago

Issue

Datalake technieken ondersteunen geen of zeer beperkte referential integrity. Dat wil zeggen dat het concept van foreign keys zoals we dat in een RDBMS kennen niet bestaat.

We willen referential integrity kunnen toepassen, waarbij bijvoorbeeld alle adressen terugverwijzen naar de BAG masterdata (leidend voor adressen). De vraag is hoe.

Zie ook dit artikel wat een vergelijkbaar issue adresseert maar dan enkel voor primary keys. Deze blogpost geeft een overzicht welke problemen er zoal zijn omdat datalake geen constraints kennen zoals een RDBMS dat wel heeft.

dkapitan commented 2 years ago

See PicnicSupermarket/diepvries#1.

If we chose to go the data vault 2.0 way, we may consider contributing a BigQuery serializer to diepvries.