Problem Beobachtungen von Elias Landolt

[rebeccakurz]

Bei der Zuordnung der Beobachtungen ist aufgefallen, dass es mit einigen Beobachtungen im Raum Zürich ein Problem mit den Koordinaten und dem Datum gibt. In der Beobachtung im Strukturbaum sind 500er-Koordinaten (xxx500/xxx500) angegeben. Auf der Karte liegen die Beobachtungen aber nicht in der Mitte eines Koordinatenquadrats, sondern auf einem Eckpunkt (xxx000/xxx000). Und wenn man die Beobachtung in der Karte anklickt, dann werden als Koordinaten auch 000er-Koordinaten (xxx000/xxx000) angezeigt. Auch komisch ist, das im Strukturbaum diese Beobachtungen mit Beobachtungsjahr 1950 angezeigt werden, wenn man aber in den Daten der Beobachtungen schaut, ist dort als obs_year 1998 angegeben. Soweit wir gesehen haben, handelt es sich immer um Beobachtungen von Elias Landolt (Angaben aus der Flora der Stadt Zürich) und auch immer um Beobachtungen aus dem Import Info Flora 2017. Es gibt auch immer zusätzlich eine gleiche Beobachtung aus dem Import Info Flora 2021.05. Bei dieser später importierten Beobachtung stimmt aber das Datum im Strukturbaum und den Daten der Beobachtung überein (1950) und die Koordinaten werden hier in den Daten und der Karte mit 500er-Koordinaten angegeben. Ich habe nun noch gemerkt dass sich die "falsch verortete" Beobachtung in der Karte mit dem Karten-Filter auch nicht markieren lässt, vielleicht gehört das zum selben Problem?

Nachfolgend ein paar Beispiele bei Cypripedium calceolus:

und Spiranthes aestivalis: gleiche Beobachtung, andere Karte als Hintergrund:

Könntest du dir das mal anschauen?

[rebeccakurz]

Ich habe nun noch gemerkt dass sich die "falsch verortete" Beobachtung in der Karte mit dem Karten-Filter auch nicht markieren lässt, vielleicht gehört das zum selben Problem?

Ich habe gerade noch festgestellt, dass das nicht Teil dieses Problems ist. Bereits zugeordnete Beobachtungen lassen sich generell mit dem Karten-Filter nicht erfassen, ausser die zugehörige Teilpopulation wird ebenfalls markiert.

[barbalex]

In der Beobachtung im Strukturbaum sind 500er-Koordinaten (xxx500/xxx500) angegeben. Auf der Karte liegen die Beobachtungen aber nicht in der Mitte eines Koordinatenquadrats, sondern auf einem Eckpunkt (xxx000/xxx000). Und wenn man die Beobachtung in der Karte anklickt, dann werden als Koordinaten auch 000er-Koordinaten (xxx000/xxx000) angezeigt

Dafür gibt es eine einzige mögliche, daher wahrscheinliche Erklärung. Ich kann sie nicht prüfen, weil die Daten des Imports von 2017 mir nicht verfügbar sind:

Das sind Beobachtungen, deren Daten in einer späteren Lieferung von Info Flora verändert geliefert wurden. Der Import aktualisiert die "Informationen aus...". Nicht aber die daraus abgeleiteten Daten, die von apflora für die effiziente Verarbeitung genutzt werden, wie z.B. das Geometrie-Feld, das Datum, der Autor oder die Quelle.

Gerade bei diesen bei der Lokalisation generalisierten Daten von Landolt ist das gut möglich. Sie haben wohl ursprünglich die obere linke Ecke des Quadrats geliefert. Das letzte Mal aber das Zentrum.

Ich könnte mir auch vorstellen, das Landolt in deinem ersten Beispiel im Jahr 1998 eine Beobachtung aus dem Jahr 1950 kontrolliert hat. Und Info Flora bei der ersten Lieferung 1950 als Datum lieferte. Später dann 1998.

[barbalex]

Es gibt auch immer zusätzlich eine gleiche Beobachtung aus dem Import Info Flora 2021.05.

Nicht im ersten Beispiel. Auch nicht im dritten. Ich habe Mühe das zu finden. Habe zwei deiner Beispiele kontrolliert und finde das nicht. Bitte gib mir konkrete Beispiele.

Es wäre unschön, wenn Info Flora dieselbe Beobachtung mehrmals mit unterschiedlichen obs_id's liefern würde.

Bei dieser später importierten Beobachtung stimmt aber das Datum im Strukturbaum und den Daten der Beobachtung überein (1950) und die Koordinaten werden hier in den Daten und der Karte mit 500er-Koordinaten angegeben.

Das würde bestätigen, dass die Differenzen nur auftreten, wenn Info Flora für dieselbe obs_id unterschiedliche Daten geliefert hat.

[barbalex]

Wir könnten Differenzen aus der letzten vollständigen Lieferung mit Abfragen feststellen und auch bereinigen. Und beim Import die Abfragen so ergänzen, dass das jeweils dann passiert.

Nur: Das ist bestimmt einen Tag Arbeit. Solch detaillierte Auseinandersetzung mit Veränderungen in den von Info Flora gelieferten Daten war bisher nicht vorgesehen, d.h. das wäre zu finanzieren.

[rebeccakurz]

Danke für deine Rückmeldungen. Ich muss mir das nächste Woche nochmals genau anschauen. Aber eine Bereinigung der Differenzen wäre dann sicher erst für die nächste Budgetperiode vorzusehen.

[rebeccakurz]

Also ich habe mir das nochmals mit Evelyn angeschaut und es sind jeweils Beobachtungen mit verschiedener obs_id und sie sind, wie du auch gesagt hast, nicht wirklich gleich, sondern einmal handelt es sich um eine Absenzmeldung (Import 2017 und einmal um eine Präsenzmeldung (Import 2021). Die Beobachtung aus dem Import 2017 wurde, auch wie du gesagt hast, wohl nachträglich angepasst, sprich das Datum und die Koordinaten.

Das sind Beobachtungen, deren Daten in einer späteren Lieferung von Info Flora verändert geliefert wurden. Der Import aktualisiert die "Informationen aus...". Nicht aber die daraus abgeleiteten Daten, die von apflora für die effiziente Verarbeitung genutzt werden, wie z.B. das Geometrie-Feld, das Datum, der Autor oder die Quelle.

Da, wie du oben sagst, die Hintergrunddaten (=abgeleitete Daten), aber nicht aktualisiert werden, kommt es zu der Diskrepanz zwischen Beobachtungsinhalt und Strukturbaum (Datum) resp. Karte (Koordinaten). --> Das sind die Differenzen, welche du mit Abfragen feststellen und auch bereinigen könntest und wofür du einen Tag Arbeit offerieren würdest, ist das richtig?

Dann können wir das an der Planungssitzung nochmals anschauen, resp. mit welcher Priorität wir das umsetzen möchten.

[barbalex]

Ist implementiert.

Ergebnis (es gibt ca. 500'000 Beobachtungen):

• Bei 209 Beobachtungen hat der Name des Autors geändert

• Bei 519 Beobachtungen hat das Datum geändert. Hier die Datei mit diesen Beobachtungen: datum.csv. Achtung: Wenn du sie in Excel öffnest, verändert Excel die Datümer!!!!! Darum habe ich sie im csv Format gelassen und in LibreOffice geöffnet.

• Bei 443'184 gab es Abweichungen des Orts. Bei allen ausser 2 aber unter 5 Metern. Hier die Datei mit den zwei mit 25 Metern Abweichung: geomPoint.csv

• Bei 202'346 gab es Abweichungen des Namens. Es schien aber, dass in all diesen Fällen die Taxonomie SISF (2005) existierte und neu DB-Taxref (2017) gewählt wird. Also kein anderes Taxon, bloss die aktuelle Taxonomie

[barbalex]

Ergänzung: ich habe die entsprechenden Funktionen, die ich dafür gebaut habe, jetzt ausgeführt. Und werde es künftig bei jedem Import machen. Damit ist künftig gewährleistet, dass die Rohdaten von der Originalquelle und die für die Darstellung in apflora abgeleiteten, immer übereinstimmen sollten.