Synchronisation PROD ↔ PROD Extern

[danjov]

Definitive Spezifikation vom 30.09.2024

• [ ] Alle Funktionen wie bei boreholes.swissgeol.ch (inkl. eIAM)
• [ ] Alle Attributfelder anzeigen
• [ ] Nur die Daten der Workgroups SBB und ASTRA werden synchronisiert. Die Namen der Workgroups bleiben gleich.
• [ ] Standardmässig werden @gysimichael und @nOester als Administratoren eingetragen, sie verwalten die zusätzlichen User manuell

Vorerst soll PROD Extern als Datenaustausch-Plattform für SBB und ASTRA verwendet werden. Die entsprechenden Daten werden von PROD nach PROD Extern synchronisiert und können dort auch editiert und reviewed werden. Sobald Änderungen an den Daten in PROD oder PROD Extern geprüft und freigegeben wurden, werden diese wieder synchronisiert. Falls auf PROD Extern ein Datensatz in Bearbeitung ist, soll dieser in PROD entsprechend gekennzeichnet/gelocked werden.

Synchronisationslogik im Detail

• [ ] Synchronisation der published Daten (inkl. Attachments) aus den Workgroups SBB und ASTRA; in beide Richtungen anhand des Change-Datums.
• [ ] Falls ein Datensatz auf PROD Extern in Bearbeitung ist (= Change in progress), so soll der entsprechende Datensatz auf Prod gelocked werden. Da der aktuelle Lock-Mechanismus auf 60min ausgelegt ist, sollte der Synchronisations-Prozess innerhalb dieses Intervalls ausgeführt werden, damit der Lock nicht automatisch aufgehoben wird.
• [ ] User-Sync: Es müssen alle User synchronisiert werden, die in SBB- oder ASTRA-Bohrungen referenziert werden. Eine Anonymisierung muss nicht vorgenommen werden. Wichtig ist, dass externe (SBB und ASTRA) User sich nicht auf Prod intern einloggen können - das ist aber durch Cognito gegeben.
• [ ] Löschen von Datensätzen auf PROD Extern: Neue Bohrungen, die erst auf PROD Extern existieren und noch nicht synchronisiert wurden, dürfen auf PROD Extern gelöscht werden. Alle anderen Bohrungen dürfen nicht gelöscht werden.

Umgebungs-Konfiguration/Anpassung

• [ ] S3 Konfiguration in Kubernetes Deployment aktualisieren (bdms-ext-swisstopo -> bdms-prod-swisstopo)
• [ ] Löschung für S3 Bucket bdms-ext-swisstopo beantragen

Spezifikation von @gysimichael vom 14.08.2024:

Hier noch die Spezifikationen wie gestern vereinbart:

ext-boreholes.swissgeol.ch:

• Alle Funktionen wie bei boreholes.swissgeol.ch
• eIAM wie bei boreholes.swissgeol.ch
• Alle Attributfelder anzeigen
• Alle Bohrungen, die von "change in progress" nach "in review" gesetzt werden, müssen dann von unserem Team geprüft werden. Wenn mein Team diese Bohrung auf "published" setzt, müsste eine pipeline die Bohrungs mit all seinen Daten automatisch nach boreholes.swissgeol.ch transferieren. Für diesen Schritt wäre es ev. Sinnvoll, wenn man die Workgroup aus boreholes.swissgeol.ch zuweisen könnte, weiss aber nicht, ob das technisch umsetzbar ist.
• Die Workgroup in boreholes.swissgeol.ch "SBB" und "ASTRA" müssten regelmässig (sagen wir wöchentlich) auf ext-bohreholes.swissgeol.ch mittels pipeline automatisch in die Workgroup "SBB_swisstopo" und "ASTRA_swisstopo" gespiegelt werden. Diese inkludiert auch die Attachments im S3.

Originally posted by @gysimichael in https://github.com/swisstopo/swissgeol-boreholes-suite/issues/1367#issuecomment-2287875798

Weitere Anforderungen vom 26.08.2024:

• nur Bohrungen aus der Workgroup SBB und ASTRA erscheinen in EXT-, aber auch nur in den dafür vorgesehen Workgroups ~> > - in diesen Workgroups soll nichts geändert oder gelöscht werden. Falls es Korrekturen braucht, müsste man die Bohrung kopieren und dann in eine andere Workgroup hinterlegen, damit sie dann nach dem QC bei uns über die Pipeline wieder integriert werden~ gilt nicht mehr
• In den anderen Workgroups sollte man löschen können, wir schicken die Daten dann nach Prod-Intern, wenn der Workflow auf Publish steht, ansonsten wird nichts gemacht. Respektive wird es nur dann für uns relevant, wenn wir die QC gemacht haben und es bei uns wollen

[danjov]

@gysimichael Dürfen Datensätze auf PROD Extern gelöscht werden? Falls ja, wie soll dort der QC-Prozess ablaufen? Das Löschen von Datensätzen folgt nicht dem integrierten Review-Prozess in der Applikation, d.h. diese Datensätze werden gelöscht und würden dann beim Synchronisieren nach PROD auch gelöscht werden - ohne Zwischenstopp via Change in progress oder ähnlich.

[gysimichael]

@danjov, ja, das ist ein Problem. Aus meiner Sicht sollten Bohrungen zwar auf Prod extern gelöscht werden können, aber das löschen sollte nicht synchronisiert werden. -> Wenn sie Bohrungen neu erfassen, dann sollte, wenn was nicht passt, die Bohrung gelöscht werden. Da sie noch nicht bei uns auf Prod sind, ist das unproblematisch -> Bohrungen, die hingengen von uns abgenommen wurden, und nur gespiegelt werden auf Prod Ext, sollte bei uns auf Prod nicht gelöscht werden. Man sollte sie aber löschen können auf Prod ext, was zwar wenig Sinn macht, da sie bei der nächsten Synchronisation wieder reingespielt werden, aber so das ganze so einfach wie möglich hält.

Wichtig wäre hier eine gute Dokumention, damit wir das nachlesen können, was wir nun aushecken