Version control NICHE reference table (Zenodo)

[cecileherr]

The reference table with the NICHE classes/groundwater levels per vegetation niche_vegetation.csv is now on Zenodo: https://zenodo.org/records/10521548

It would be nice to implement some form of version control in a future release of niche_vlaanderen.

Important: the sign of the groundwater levels on Zenodo has changed, that is: negative for levels under the ground (=> as in the future wished release, see #319 )

[stijnvanhoey]

@cecileherr we hebben even de package system-tables vergeleken met de tabellen op zenodo en de integratie van nieuwe versies in Zenodo is niet zo. Enkele zaken die zouden moeten uitgeklaard worden:

• 1:1 mapping van de tabellen in Niche-vlaanderne code versus tabellen op Zenodo is momenteel niet mogelijk:

  • NICHE_FL_referencevalues_v12C.csv is in package niche_vegetiation.csv; deze lijken overeen te komen
  • NICHE_FL_referencegroundwaterlevels_v12C.csv is in package geen match; is dit subset van de gegevens die al in NICHE_FL_referencevalues_v12C.csv zitten en hoeft deze dus niet gebruikt te worden.
  • NICHE_FL_vegetationtypes_v12C.csv is in package docs/_data/vegetatietypen.csv; Is het de bedoeling deze als system-tabel te gebruiken?

• Aantal tabellen (bv. ecologische bodemtypen, trofiegraad, zuurtegraad,..) zijn enkel in beschrijving opgenomen in Zenodo, niet als referentietabel als CSV-bestand. Enkel de mapping van NICHE_FL_vegetationtypes_v12Czit ook als CSV in de data:

  • is dat metadata die we als 'fixed' kunnen beschouwen en moeten die tabellen nooit geupdate worden?
  • is het mogelijk alle tabellen op te nemen als CSV zodat deze direct kunnen gebruikt worden in package?

• huidige versie staan deels tabellen in het nederlands/engels; op zenodo in nederlands, behalve voor NICHE_FL_vegetationtypes_v12C waar het in nederlands én engels is voorzien: -> willen we beide talen ondersteunen, dan moeten op Zenodo ook beide beschikbaar zijn?

• kolomnamen van de tabellen zijn niet consistent. In huidige tabellen in package staat de 'code' versus de 'beschrijving' onder verschillende kolomnamen (bij verschillende system_tabels), die ook niet overeenkomen met de kolomnamen in Zenodo. bv. acidity.csv in package staat de code in kolom 'acidity' versus de labels/beschrijving in 'zuurgraadklasse_bodem'; bij inundation.csv staat de code in de kolomn 'inundation' en de beschrijving in kolom 'beschrijving'. In zenodo wordt 'cijfercode' en 'zuurgraadklasse bodem' of 'type beheer',.. gebruikt. We zouden dit liefst overal consistent maken door bv. 'code', 'beschrijving' en (als jullie engels overal willen ondersteunen) 'description' te gebruiken als kolomnamen voor alle mapping-tabellen.

[cecileherr]

• NICHE_FL_referencevalues_v12C.csv is in package niche_vegetiation.csv; deze lijken overeen te komen
• NICHE_FL_referencegroundwaterlevels_v12C.csv is in package geen match; is dit subset van de gegevens die al in NICHE_FL_referencevalues_v12C.csv zitten en hoeft deze dus niet gebruikt te worden.
• NICHE_FL_vegetationtypes_v12C.csv is in package docs/_data/vegetatietypen.csv; Is het de bedoeling deze als system-tabel te gebruiken?

NICHE_FL_referencevalues_v12C.csv is inderdaad de tabel die we nodig hebben voor niche_vlaanderen. De andere tabellen had ik voor andere typen gebruikers voorzien (die niet het model gebruiken, maar alleen de referentiewaarden voor de grondwaterstanden). NICHE_FL_vegetationtypes_v12C.csv was dus eerder bedoeld als metadata voor die gebruikers. docs/_data/vegetatietypen.csv vervangen door een verwijzing NICHE_FL_vegetationtypes_v12C.csv op Zenodo zou elegant zijn om consistentieredenen (maar heeft enkel invloed op de documentatie => valt eerder in de categorie nice to have/zeker niet prioritair)

• Aantal tabellen (bv. ecologische bodemtypen, trofiegraad, zuurtegraad,..) zijn enkel in beschrijving opgenomen in Zenodo, niet als referentietabel als CSV-bestand. Enkel de mapping van NICHE_FL_vegetationtypes_v12Czit ook als CSV in de data:

  • is dat metadata die we als 'fixed' kunnen beschouwen en moeten die tabellen nooit geupdate worden?

Nooit geüpdatet durf ik niet te stellen, maar minder dan om de 10 jaar. Ik had ze dus idd beschouwd als metadata

• is het mogelijk alle tabellen op te nemen als CSV zodat deze direct kunnen gebruikt worden in package?

zo eventueel kunnen indien nodig

• huidige versie staan deels tabellen in het nederlands/engels; op zenodo in nederlands, behalve voor NICHE_FL_vegetationtypes_v12C waar het in nederlands én engels is voorzien: -> willen we beide talen ondersteunen, dan moeten op Zenodo ook beide beschikbaar zijn?

Kleine verbetering: de tabellen op Zenodo zijn in het Engels (met metadata in beide talen). Ik dacht dat we voor niche_vlaanderen ook de afspraak hadden om voor het package zelf de voorkeur te geven aan het Engels (cf documentatie: werking model is in het Nl, maar werking package in het Engels)

[stijnvanhoey]

As discussed during meeting with @cecileherr :

• NICHE_FL_referencevalues_v12C.csv integrated in package, column names from zenodo used
• NICHE_FL_referencegroundwaterlevels_v12C.csv is only subset, not used
• NICHE_FL_vegetationtypes_v12C.csv integrated in package as system_table (not in docs), column names zenodo used
• Other 'metadata' tables:clean up of naming columns of the files in the package to make it consistent -> either we use the column name from NICHE_FL_referencevalues_v12C as the 'code'-column (as this supports direct join) or - if not feasible - we use 'code'. Furthermore, each table will get 'description' (engels) and 'beschrijvin' (dutch) as provided in zenodo

The package will return english-descriptions instead of the dutch names. We do not automate this process as (update frequency is very low). In dev-docs this (manual) process of porting zenodo-tables to package need to be documented.