DataVault recherchieren

[niklasbuechner]

Was ist ein DataVault?

Es gibt 2 Möglichkeiten einen DataVault zu betrachten. Die erste Möglichkeit ist ihn als Element in ETL-Prozess zu betrachten. Dabei wird der DataVault zum Einlesen der Rohdaten verwendet. Von dort können die Daten dann transformiert werden und in die Analysedatenbanken geladen werden. Alternativ kann man den DataVault als eine komplett unterschiedliche Herangehensweise an das Thema DataWarehousing betrachtet werden. Dabei ist der DataVault der eine zentrale Datenspeicher, in dem man dann alle ETL-Prozess abbildet. (Also werden dabei die Daten aus einer Struktur des DataVault in eine andere geladen.)

Konzeptionell kann man sich das Ganze so vorstellen. Alle Rohdaten werden in eine Datenbank eingelesen. Diese Datenbank beinhaltet den DataVault (das ist eine rein konzeptionelle Schicht). Aus den (Rohdaten-) DataVault werden die Daten dann von ETL-Prozessen ausgelesen und weiterverarbeitet. Das Ergebnis wird dann meist wieder im (Business-) DataVault gespeichert. Das sind dann z.B. Sternschemas, die für die Auswertung genutzt werden können.

Welche Probleme löst ein DataVault?

• Schnelles Einspielen von Daten - Die Datenmodelierung im DataVault ist darauf ausgelegt, dass man Daten schnell Einspielen kann. Er ist nicht dafür gedacht, dass man die Daten einfach auslesen kann. Dafür muss eine separate Pipeline gebaut werden. Zudem macht ein DataVault das Auslesen von Daten schwieriger, weil die Daten in vielen kleinen Stücken zerteil gespeichert werden.
• Daten langfristig lagern - Bis auf eine Ausnahme dürfen die Daten im DataVault nicht verändert werden. Die einzige erlaubt Operation ist es weitere Daten hinzuzufügen (also INSERTs). Die Ausnahme ist es hierbei Zeilen als veraltet zu markieren, was ein UPDATE auf ein einzelnes "Veraltet"-Feld ist.
• Datenveränderungen ersichtlich zu machen - Der DataVault soll Veränderungen über die Zeit hinweg ersichtlich machen. Dabei geht es allerdings nicht darum zeitbasierte Datenpunkte analysierbar zu machen. Hier ein Beispiel: Gehen wir davon aus, dass es ein Kodiersystem gibt. Falls das System geändert wird, ändert sich die Systemdefinition (Rohdaten). Damit wird die alte Definition durch eine neue ersetzt. Dadurch ist die alte Definition nicht mehr vorhanden und könnte nicht mehr rückwirkend auditiert werden. Dies macht ein DataVault transparent indem er jede Änderung an den Rohdaten speichert. (Es gibt allerdings auch keine Möglichkeit um das gut abzufragen. Damit beschäfftigt sich der DataVault nicht.)
• Veränderungen im Datenmodel erlauben ohne ETL-Prozesse anpassen zu dürfen - Da im DataVault Daten und deren Schemas nicht verändert werden dürfen, sondern nur hinzugefügt werden dürfen, müssen die ETL-Prozesse dahinter auch nicht angepasst werden. Falls ein Schema komplett ersetzt wird, wird ein neuer ETL-Prozess für das neue Schema hinzugefügt. Das alte Schema und der alte ETL-Prozess werden dabei nicht angefasst.

Was ist der Unterschied zwischen dem DataVault und dem Sternschema (Aufgabe der anderen Gruppe)?

Die beiden Konzepte haben erstmal nichts mit einander zu tun. Der DataVault arbeitet auf der Ebene der Datenaufbewahrung und wie man alle Rohdaten und deren Änderungen erfasst. Darauf aufbauend kann ein ETL-Prozess etabliert werden, der die Daten dann für die verschiedenen Stakeholder aufbereitet.

Das Sternschema ist eine Art und Weise Daten für die Auswertung zu modellieren. Ein DataVault speichert daher die Daten für das Sternschema und kann - als Datenaufbewahrungsort - auch Sternschemas beinhalten.

[niklasbuechner]

Hallo Herr @Fuenfgeld, wie viel Fokus sollen wir auf das Konzept des DataVaults legen und auf welche Teile legen Sie hier besonders wert?

DataVault als Konzept ist sehr groß und alleine durch die Größe sehr komplex. Gerade die Modellierung der Daten macht auf den ersten Blick keinen Sinn, wenn man nicht im Detail damit vertraut ist, wie man mit sich verändernden Daten und sich verändernden Schemas in diesem Datenmodel umgehen muss. Das können wir natürlich gerne erklären, damit müssten wir aber einen Großteil des Tutorials nur der Theorie des DataVaults widmen.

Falls der DataVault nur eine untergeordnete Rolle spielen soll, würden wir es wahrscheinlich bei einem High-Level-Überblick belassen, plus ein bis zwei Szenarios, die etwas mehr in die Tiefe gehen. Wäre das akzeptabel?

[Fuenfgeld]

• Es geht in dem Tutorial darum zu verstehen wie man daten transformiert.um eine Fragestellung zu beantworten
• wenn das data vault model dabei nicht passt könnt ihr ein anderes Model vorschlagen.
• Ich will am praktischen beispiel sehen wie ein analytisches Model dabei hilft eure Fragen zu beantworten.
• Das Model kann auch von euch implementiert werden, die Teilnehmer sollten dann nur damit arbeiten.

[niklasbuechner]

Hallo Herr @Fuenfgeld,

wir wollten noch einmal kurz nachfragen wie wir weitermachen sollen. Wir haben eine Literaturrecherche gemacht und sind zu dem Ergebnis gekommen, dass in OLAP Systemen so gut wie nur Sternschemas und deren Abwandlung (Schneeflockenschemas) zum Einsatz kommen. Andere Modelle scheinen nicht wirklich in Gebrauch zu sein.

Wir wissen leider nicht weiter und haben uns zwei Möglichkeiten überlegt, die wir noch in unser Tutorial einbinden können:

• Wir zeigen auch eine Sternschema oder ein Schneeflockenschema und zeigen daran wie man Daten auswerten kann. (Wie wahrscheinlich die andere Gruppe auch.)
• Oder wir gehen doch in eine andere Richtung und konzentrieren uns mehr auf die Umsetzungsmöglichkeiten des ETL Prozesses, z.B. indem wir die Spark Nutzung an einem Cluster demonstrieren oder Daten noch von anderen Quellsystemen einlesen.

Wäre eine dieser beiden Möglichkeiten für sie akzeptabel oder kennen Sie noch ein anderes Datenmodel, das gut zum Daten analysieren ist und das wir zeigen können?