Validation of groundwater logger data
Analysis on validation methods for groundwater logger data
Rationale (dutch)
Het OIS grondwater heeft als doel om meer en betere grondwatergegevens sneller ter beschikking stellen via het DOV-portaal. Met de verschillende partners willen we hiervoor de validatie procedures van (hoogfrequente) grondwater loggers beter overeenstemmen, zodat de data die op DOV ter beschikking zal gesteld worden zo consistent mogelijk is voor de externe gebruiker.
Bij de datastroom tussen ruwe data en gekalibreerd peil zijn er validatiestappen op het level van (1) de ruwe data zelf, (2) de waterpeilen en (3) vergelijking met referentiewaarden, ook wel kalibratie genoemd:
De methodes/algoritmes die in dit project getest en ontwikkeld worden hebben als doel om validatieprocedures te voorzien die operationeel kunnen worden ingezet door instanties die grondwaterpeilen aan DOV aanleveren. Meer achtergrond over het voortraject is te vinden op confluence (login required).
De doelstellingen zijn:
- Een set van robuste en geteste methodes voor data validatie van ruwe loggerdata en peilen.
- Documentatie over de algoritmes, de noodzakelijke inputs, de toepassingsmogelijkheden (randvoorwaarden waarvoor het algoritme werkt).
- Documentatie van een controlled vocabulary van error/warning flags.
- Een referentie-implementatie van de verschillende algoritmes.
Package
For the package related to this project, see subfolder gwloggeR or the website.
Workflow
For development, consult the development guide
Repo structure
The repository structure is based on Cookiecutter Data Science. Files and directories indicated with GENERATED should not be edited manually.:
├── README.md : Description of this repository
├── LICENSE : Repository license
├── .gitignore : Files and directories to be ignored by git
│
├── data
│ ├── raw : Source logger data as received from the partners (INBO,...)
│ │ ├── inbo : A subfolder for each partner
│ │ └── ...
│ ├── interim : Folder for interim outputs GENERATED
│ └── processed : Resulting outputs used for reporting,... GENERATED
│
├── docs : Documentation of the algorithms, flagging,...
│
├── gwloggeR : gwloggeR package root folder
│
├── gwloggeR.data : gwloggeR.data package root folder
│
├── src : Source code for the analysis
│ ├── r
│ │ ├── groundwater.rproj : Rstudio project file for data analysis.
│ │ ├── outliers : Grouped analysis files
│ │ └── ... Contributors
License
MIT License for the code and documentation in this repository. The included data is released under another license, which depends on the data provider. For groundwater logger data access, check the DOV portal or machine access using pydov.