fdschneider / bexis_traits

developing a trait data framework for use in the Biodiversity Exploratories
0 stars 0 forks source link

upload data to BExIS #27

Closed fdschneider closed 6 years ago

fdschneider commented 6 years ago

@aostrow

Lieber Andreas,

für das Manual habe ich gerade mal einen eigenen Testdatensatz (#22586) mit Hilfe des vom dir angelegten Templates erzeugt. Es ist ein Derivat von Datensatz #21247 von Jule Mangels und Nico Blüthgen.

Hier ein paar Dinge, die mir beim Ausfüllen der Metadaten aufgefallen sind:

Die Eingabemaske sagt ganz oben 'Click the "Upload metadata" button below to upload the new dataset'. Dieser Button war bei mir nicht vorhanden. Die Beschreibung ist irreführend (auch weil ich keine Metadata hochladen will, sondern primary data).

Beim nachträglichen hochladen der Primärdaten (über 'Select' und 'Update observations from file' in der Datensatz-Übersicht) bin ich auch zunächst gescheitert. Der Upload gelingt nur wenn die Spaltenzahl (und auch Spaltennamen ???) mit den vorausgefüllten Angaben in den Template-Metadaten überein stimmen. Wir hatten früher schon einmal besprochen, dass das hochgeladene Datensätze im Prinzip alle definierten Spalten beinhalten müssen, auch wenn diese keine Informationen enthalten.

Eine einfache Lösung meinerseits wäre, dem R package einen Parameter hinzuzufügen der beim Ausführen von 'standardize()' ausnahmslos alle Terme als Spalten zu erzeugt. Ich finde es unpraktisch das Vorhandensein aller Spalten zu erzwingen. Das erzeugt viel Datenmüll und unübersichtliche Datensätze. Außerdem ergibt sich ein Problem bei Daten, die aus mehreren Datensätzen kompiliert sind und dann Metadaten als Spalten enthalten. Das dürfte bei Nadjas und Martins Daten beispielsweise der Fall sein. Was wir im Vokabular als Metadaten bezeichnen, wird 1.) im Rahmen der BExIS Metadaten nicht direkt abgefragt und 2.) sind diese Spalten in kompilierten Datensätzen Teil der Primärdaten.

Eine andere Lösung für den User wäre, die Definitionen in den Metadaten manuell zu eliminieren, die der Datensatz nicht enthält. Das Problem ergibt sich aber, wenn eine neue Version der Daten mehr Spalten enthält (etwa weil man die Standardisierung um zusätzliche Spalten erweitert hat), oder wenn man aus versehen eine Definition gelöscht hat, die aber gebraucht wird. Dann muss man die Beschreibung in den Metadaten händisch neu eingeben. Hier bräuchte es dann eine Hilfestellung, z.B. die Möglichkeit, die ursprünglichen Template-Definitionen wiederherzustellen oder ein Dropdown Menu zum hinzufügen von Termen aus dem Vokabular.

Dafür sollten wir also noch eine flexiblere Lösung finden. Könnte BExIS z.B. für Traitdaten erlauben, mehr Spaltendefinitionen anzugeben als Spalten im Datensatz vorhanden sind? Könnte es beim Upload nicht prüfen ob alle vorhandenen Spalten auch definiert sind (und nicht ob alle definierten Spalten auch vorhanden sind)?

Viele Grüße, Flo

fdschneider commented 6 years ago

Another minor issue is that the template on BExIS seems not up to date with the glossary of terms. It includes the term kingdom but not order.

fdschneider commented 6 years ago

Andreas and I talked today and I think we resolved all these questions.