Aggiungere controlli di congruenza rispetto ai dati delle dashboard regionali

[opencovid-mr]

Di seguito una prima lista non esaustiva di fonti regionali

Molise https://flo.uri.sh/story/268887/embed#slide-0

Lombardia https://public.tableau.com/profile/ariabi1179#!/vizhome/Dashboard_covid_produzione/DashboardCovid-19

Toscana https://www.ars.toscana.it/banche-dati/dati-sintesi-sintcovid-aggiornamenti-e-novita-sul-numero-dei-casi-deceduti-tamponi-per-provincia-e-per-asl-della-regione-toscana-e-confronto-con-italia-con-quanti-sono-i-decessi-per-comune?provenienza=consultati&dettaglio=ric_geo_covid&par_top_geografia=090

PA Trento https://covid19trentino.fbk.eu/

Umbria https://apistore.regione.umbria.it/store/apis/info?name=COVID-19&version=1.0.0&provider=admin&tag=Agenda%20digitale-group#tab0

[aborruso]

Molise https://flo.uri.sh/story/268887/embed#slide-0

Da queste slide, da quale tifo fuori dati (preferisco non pensare ed eseguire :) )

Grazie

[covid19-dq-monitor]

Ciao, creerei se siete d'accordo una issue per ogni regione (aggiungendone se si trovano altre fonti) per tenere separato il lavoro sui singoli scraper.

Propongo questa semplice struttura in generale: in una nuova cartella ./src/ collezioniamo gli scraper (python, bash, etc) che dovranno dare in output un singolo file csv nella cartella ./staging/ I file csv dovranno avere i campi compatibili con quelli del dataset `dpc-covid19-ita-regioni.csv\ dal repository della PC; ovvero

nome campo	chiave
data	X
denominazione_regione	X
ricoverati_con_sintomi
terapia_intensiva
totale_ospedalizzati
isolamento_domiciliare
totale_positivi
dimessi_guariti
deceduti
casi_da_sospetto_diagnostico
casi_da_screening
totale_casi
tamponi
casi_testati

se una di queste informazioni non è presente nella dashboard regionale, il dato va lasciato missing. Se è troppo oneroso far tutto nel solo script che fa lo scraping, possiamo spostare la manipolazione del dato in uno script R/python ad hoc.