Funktion Update-Logik festlegen.

GeoWerkstatt / interlis-model-browser

INTERLIS Model Repo Browser

MIT License

0 stars 1 forks source link

Funktion Update-Logik festlegen. #29

Closed Philippluca closed 1 year ago

Philippluca commented 2 years ago

Wie soll der Update im Fehlerfall verlaufen.

Ist:

Der Crawler wird mit einem konfigurierbaren Root aufgerufen.
Der Crwaler traversiert den kompletten Baum in Richtung subsidiären Seiten.
Wenn mindestens eines (Root) Repository gefunden wurde, wird die komplette DB durch den aktuellen Baum ersetzt.

Zu bedenken:

Komplette Sub-Bäume fallen gegebenenfalls (bis zum nächsten Crawlen) weg.

Soll: ?

olivergrimm commented 2 years ago

Nach der Besprechung mit dem Projektteam besteht der folgende Vorschlag:

Mögliche Fallback-Option: Wenn eine site nicht erreicht werden kann, so soll das (gesamte?) Crawling gemäss einer statischen Liste der Repositories (letztes erfolgreiches Crawling) laufen.
Mögliche Fallback-Option: Wenn eine site nicht erreicht werden kann, so soll der Crawler eine relativ kurze Zeit später wieder probieren.
Mögliche Fallback-Option: Inhalte des letzten erfolgreichen Crawlings werden erst gelöscht, wenn das Crawling 100% erfolgreich durchgeführt wurde. Ansonsten bleiben Daten des Vortages bestehen.

Ist es möglich, in diesen Fällen eine Info auszugeben?

olivergrimm commented 2 years ago

Fallback#3 wäre sinnvoll.

olivergrimm commented 2 years ago

Rückmeldung von AGI SZ; Kuno Epper:

Variante mittels 2 Schemen und Zugriffssteuerung über Views, welche nur im Erfolgsfall switchen und ansonsten den alten Stand ohne Schema-Switch zeigen.
Löschung nur bei gültig vorliegendem Repository vornehmen. Prüfung aufgrund eines vorgeschalteten Tests

olivergrimm commented 1 year ago

Nach Besprechung im Projektteam ist diese Erweiterung wie folgt umzusetzen:

Der Crawler hat vor Beginn der Informationsextraktion a) zu prüfen, dass alle Archive gemäss aktueller Hierarchie zugänglich sind. b) Ist ein Archiv mit Kindobjekten nicht verfügbar, so erfolgt keine Aktualisierung c) Ist ein Archiv ohne Kindobjekte nicht verfügbar, so wird lediglich das betroffene Archiv ausgelassen und nicht gecrawlt.