search

mzelst / covid-19

https://doi.org/10.5281/zenodo.5163263
Creative Commons Zero v1.0 Universal
62 stars 22 forks source link

Halen jullie ook "NL.json" binnen, zo ja, waar slaan jullie deze data op in deze repo? #38

Closed StefH closed 3 years ago

StefH commented 3 years ago

Ik zie dat jullie via een import script ook https://coronadashboard.rijksoverheid.nl/json/NL.json ophalen.

Slaan jullie dit bestand 1:1 op in deze repo ? Of wordt deze geprocessed, en zo ja , hoe?

mzelst commented 3 years ago

Hi Stef,

Dat bestand sla ik zelf niet op, omdat @boisei0 dat al doet. Je kunt hier de repo vinden met de dagelijkse NL.json vanaf 19 augustus vorig jaar (2020): https://github.com/boisei0/corona-dashboard-data/tree/master/data

Ik zal aan hen even vragen of ze de laatste maand data erbij willen zetten.

boisei0 commented 3 years ago

Ik heb inderdaad een mirror repo draaien van NL.json en de 25 veiligheidsregio's. Ik moet bekennen dat het script dat die binnentrekt niet de meest stabiele soort is want ik had niet verwacht dat ik langer dan een maandje ongeveer die data zou gaan volgen. Resultaat is dat de bestanden inmiddels zo groot zijn dat de automatische push er meestal uit klapt. Ik ben op dit moment 70 lokale commits aan het doorzetten, maar dat gaat niet zo heel snel. Ik overweeg al langere tijd om gewoon de invoerbestanden af te tappen, omdat die gecomprimeerd komen, maar heb daar nog altijd geen workflow voor op gezet. Die invoer bestanden zijn in de configuratie van de dashboard repo terug te vinden: https://github.com/minvws/nl-covid19-data-dashboard/blob/d30141672648c744ddceb0a109c2ede70e57b288/package.json#L13, als je die volgt kom je uiteindelijk hier uit: https://github.com/minvws/nl-covid19-data-dashboard/blob/d30141672648c744ddceb0a109c2ede70e57b288/packages/app/infra/download.js#L8, naar https://coronadashboard.rijksoverheid.nl/json/latest-data.zip Op dit moment is de hardware waar deze workflow op draait hier niet zo geschikt voor om deze repo langdurig van aanvoer te voorzien, dus daar pruts ik nog mee verder. Tot die tijd moet ik er vooral aan denken om met regelmaat even handmatige losse bestanden waar de push op achter blijft nog toe te voegen. De repo is normaal gesproken dus geautomatiseerd, maar door de steeds groter wordende bestanden gaat het pushen niet helemaal lekker meer.