Fuenfgeld / ATeamDatenmanagementUndArchivierung

MIT License
7 stars 0 forks source link

Datenmanagement Plan soll eure Dokumentation referenzieren #33

Closed Fuenfgeld closed 3 years ago

Fuenfgeld commented 3 years ago

https://github.com/Fuenfgeld/ATeamDatenmanagementUndArchivierung/wiki/Datenmanagementplan

Hier sind vor allem Sektion 3.1 - 3.3 gemeint. Verlinkt hier eure Quelldaten Dokumentation Verlinkt hier auch eure Quelldaten und

Verlinkt hier auch eure Dokumentation eure ETL Prozesse

Euer Datenmanagement Plan ist der Einstiegspunkt eures Datenprojektes und muss alle anderen Dokumente, Daten und Code direkt oder indirekt verlinken und referenzieren

Fuenfgeld commented 3 years ago

Ihr solltet auch die SQLite Datenbankfiles referenzieren im DMplan

fphans commented 3 years ago

SQLite Datenbankfiles referenzieren im DMplan

ich dachte die sind immer nur temporär im memory?

lknegendorf commented 3 years ago

SQLite Datenbankfiles referenzieren im DMplan

ich dachte die sind immer nur temporär im memory?

Jau sind sie bei uns bis jetzt nur. Wir könnten uns überlegen, die Datenbank, die nach dem ETL-Prozess geladen wird, abzuspeichern und die zu verlinken. Z.b. vor dem Hintergrund Speicherung der Forschungsdaten 10 Jahre, vielleicht gibt es ein Python Update und irgendwelche Funktionen, die wir für die Transformation nutzen, sind nicht mehr ohne weiteres ausführbar, dann kann man trotzdem noch auf die transformierten Daten schnell zugreifen. @fphans @Carmen-Haubold wie seht ihr das?

fphans commented 3 years ago

finde ich gut, speicherort dann wieder ein einem anderen googledriveordner?

fphans commented 3 years ago

Konsens aus Arbeitstreffen: ArbeitsDB bleibt im Memory und wir machen einmalig eine Exportversion zur Ablage im GitHub

offen: @Fuenfgeld sollen wir dafür einen Pseudonymisierungs/Anomymisierungsschritt machen?

Fuenfgeld commented 3 years ago

Eine Pseudonymisierung könnt ihr bei der DSFA angeben als Sicherung der Identifizierenden Daten. Das bleib euch allerdings Überlassen.

fphans commented 3 years ago

@Carmen-Haubold @lknegendorf : nach wie vor ist offen wie und wo wir die Tabelle Ablegen. Wir bräuchten also einen optionalen Code der nur einmalig läuft und die DB im Drive ablegt oder?

fphans commented 3 years ago

50 ist letztendlich das gleiche

fphans commented 3 years ago

Duplicate of #50