Doc73 commented 3 years ago

Tipo di issue:

[x] Dati mancanti o errati dpc-covid19-ita-andamento-nazionale.csv
[ ] Errore nella documentazione
[ ] Errore or mancanza nella dashboard
[ ] Problemi di visualizzazione nella dashboard
Regione:
Provincia:

Riassunto

Duplicata la riga del primo marzo 2021

Si prega di correggere, grazie!

Attesa:

Attuale:

Rabelaiss commented 3 years ago

ancora con questi errori dopo 1 anno ormai, possibile che non si riesca ad implementare un controllo automatico?

Doc73 commented 3 years ago

@Rabelaiss Stesso errore anche nel file delle regioni

floatingpurr commented 3 years ago

Ho provato a riassumere la questione nella #1081 spero ci possa essere un feedback

floatingpurr commented 3 years ago

Idem sui JSON. Devono avere una sorta di procedura che parte da dei dati tabellari e serializza CSV e JSON (just guessing, in attesa di chiarimenti).

capmar00 commented 3 years ago

Bisognerebbe per favore sistemare anche questo file .json che ha 3 volte la data del 1 marzo: https://raw.githubusercontent.com/pcm-dpc/COVID-19/master/dati-json/dpc-covid19-ita-andamento-nazionale.json Grazie

alexodus commented 3 years ago

Bisognerebbe per favore sistemare anche questo file .json che ha 3 volte la data del 1 marzo: https://raw.githubusercontent.com/pcm-dpc/COVID-19/master/dati-json/dpc-covid19-ita-andamento-nazionale.json Grazie

Verrebbe da ridere se non ci fosse da piangere. Sono almeno 10 mesi che gli si propone (compreso il sottoscritto) di fare script di validazione dei dati. Penso che qui, chiunque abbia un minimo di destrezza saprebbe creane uno sensato in poche ore. Sono almeno 10 mesi che il tizio si rifiuta sia di implementarli che di farsi aiutare dalla "community".

Doc73 commented 3 years ago

Il file nazionale è stato corretto, ma non ancora quello regionale

Rabelaiss commented 3 years ago

comunque non mi sembra il caso di insultare

alessandroNa commented 3 years ago

Mi sono preso un colpo! 😮

Per fortuna esiste la community...

FragIt66 commented 3 years ago

@floatingpurr può darsi che partano da dati tabellari. Però , se così fosse, perchè non si creano almeno gli indici "unique"? Sul json dei dati nazionali di oggi il primo marzo compare tre volte ....... basterebbe creare un indice unuque sulla data e saresti a posto non c'è da implementare chissà cosa .... :-(

pcatta1966 commented 3 years ago

Mi sono preso un colpo! 😮

Per fortuna esiste la community... meno male si... anch'io.....

floatingpurr commented 3 years ago

Il file nazionale è stato corretto, ma non ancora quello regionale

Edit: E' stato corretto ~~solo~~ anche il file dpc-covid19-ita-regioni.csv (71cd5a43bc887e7092434235ed43b7716c944cda), ~~gli altri CSV e~~ i JSON rimangono sbagliati

floatingpurr commented 3 years ago

@floatingpurr può darsi che partano da dati tabellari. Però , se così fosse, perchè non si creano almeno gli indici "unique"? Sul json dei dati nazionali di oggi il primo marzo compare tre volte ....... basterebbe creare un indice unuque sulla data e saresti a posto non c'è da implementare chissà cosa .... :-(

Ci sono diverse soluzioni relativamente lineari per ovviare a questo tipo di problemi. Credo che finché non verrà implementata una procedura di verifica, ci dovremmo aspettare errori del genere di tanto in tanto.

Spiace un po' che non ci sia stato neppure un riscontro sul tema "validazione dati" dato che è stato sollevato da diverse persone e a più riprese (#1081, #945, #982 ecc...). Comprendo però che per @umbros e i collaboratori del Dipartimento non sia facile stare dietro a tutto.

alessandroNa commented 3 years ago

Mi sono preso un colpo! 😮 Per fortuna esiste la community... meno male si... anch'io.....

anche tu Qliksense addicted? 😄

alessandroNa commented 3 years ago

Bisognerebbe per favore sistemare anche questo file .json che ha 3 volte la data del 1 marzo: https://raw.githubusercontent.com/pcm-dpc/COVID-19/master/dati-json/dpc-covid19-ita-andamento-nazionale.json Grazie

Verrebbe da ridere se non ci fosse da piangere. Sono almeno 10 mesi che gli si propone (compreso il sottoscritto) di fare script di validazione dei dati. Penso che qui, chiunque abbia un minimo di destrezza saprebbe creane uno sensato in poche ore. Sono almeno 10 mesi che il tizio si rifiuta sia di implementarli che di farsi aiutare dalla "community".

Vado un po' OT: mi piacerebbe approfondire la tematica di validazione dati. Puoi indicarmi qualche fonte/strumento?

pcatta1966 commented 3 years ago

Anche per lavoro.. 👍

Il lun 1 mar 2021, 23:42 DataEnthusiast84 notifications@github.com ha scritto:

Mi sono preso un colpo! 😮 Per fortuna esiste la community... meno male si... anch'io.....

[image: image] https://user-images.githubusercontent.com/61948662/109559825-78520600-7adb-11eb-8e1f-d02b1612d80d.png

anche tu Qliksense addicted? 😄

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/pcm-dpc/COVID-19/issues/1086#issuecomment-788359841, or unsubscribe https://github.com/notifications/unsubscribe-auth/AOYUF5QTEO4WWABEBANKSLDTBQJ6ZANCNFSM4YM3LJFA .

alexodus commented 3 years ago

Bisognerebbe per favore sistemare anche questo file .json che ha 3 volte la data del 1 marzo: https://raw.githubusercontent.com/pcm-dpc/COVID-19/master/dati-json/dpc-covid19-ita-andamento-nazionale.json Grazie

Verrebbe da ridere se non ci fosse da piangere. Sono almeno 10 mesi che gli si propone (compreso il sottoscritto) di fare script di validazione dei dati. Penso che qui, chiunque abbia un minimo di destrezza saprebbe creane uno sensato in poche ore. Sono almeno 10 mesi che il tizio si rifiuta sia di implementarli che di farsi aiutare dalla "community".

Vado un po' OT: mi piacerebbe approfondire la tematica di validazione dati. Puoi indicarmi qualche fonte/strumento?

1081

Inoltre in directory "script" di un fork di questo repo, c'è del materiale interessante: https://github.com/miccoli/COVID-19/tree/feature/verify

CloudItaly commented 3 years ago

@floatingpurr può darsi che partano da dati tabellari. Però , se così fosse, perchè non si creano almeno gli indici "unique"? Sul json dei dati nazionali di oggi il primo marzo compare tre volte ....... basterebbe creare un indice unuque sulla data e saresti a posto non c'è da implementare chissà cosa .... :-(

Anche io son corso a questa soluzione, per non incorrere più in questi problemi.

FragIt66 commented 3 years ago

Ferma restando l'utilità dell'indice dovrebbe comunque esistere un controllo a monte. Non è bello fare affidamento solo su un indice per "proteggere" una chiave ( primaria o unique che sia )
E, al di là dei toni, trovo assurdo che un repository istituzionale come questo - dopo un anno - sia ancora spesso in uno stato indecente.

umbros commented 3 years ago

Corretto, grazie

floatingpurr commented 3 years ago

Ciao, segnalo che i JSON sono ancora sbagliati. E.g., dpc-covid19-ita-andamento-nazionale.json al 74188bd:

 {
    "data":"2021-03-01T17:00:00",
    "stato":"ITA",
    "ricoverati_con_sintomi":19112,
    "terapia_intensiva":2289,
    "totale_ospedalizzati":21401,
    "isolamento_domiciliare":402932,
    "totale_positivi":424333,
    "variazione_totale_positivi":1966,
    "nuovi_positivi":13114,
    "dimessi_guariti":2416093,
    "deceduti":97945,
    "casi_da_sospetto_diagnostico":null,
    "casi_da_screening":null,
    "totale_casi":2938371,
    "tamponi":40303520,
    "casi_testati":19685310.0,
    "note":null,
    "ingressi_terapia_intensiva":171.0,
    "note_test":null,
    "note_casi":null,
    "totale_positivi_test_molecolare":2887097.0,
    "totale_positivi_test_antigenico_rapido":51274.0,
    "tamponi_test_molecolare":34932830.0,
    "tamponi_test_antigenico_rapido":5370690.0
  },
  {
    "data":"2021-03-01T17:00:00",
    "stato":"ITA",
    "ricoverati_con_sintomi":19112,
    "terapia_intensiva":2289,
    "totale_ospedalizzati":21401,
    "isolamento_domiciliare":402932,
    "totale_positivi":424333,
    "variazione_totale_positivi":1966,
    "nuovi_positivi":13114,
    "dimessi_guariti":2416093,
    "deceduti":97945,
    "casi_da_sospetto_diagnostico":null,
    "casi_da_screening":null,
    "totale_casi":2938371,
    "tamponi":40303520,
    "casi_testati":19685310.0,
    "note":null,
    "ingressi_terapia_intensiva":171.0,
    "note_test":null,
    "note_casi":null,
    "totale_positivi_test_molecolare":2887097.0,
    "totale_positivi_test_antigenico_rapido":51274.0,
    "tamponi_test_molecolare":34932830.0,
    "tamponi_test_antigenico_rapido":5370690.0
  },
  {
    "data":"2021-03-01T17:00:00",
    "stato":"ITA",
    "ricoverati_con_sintomi":19112,
    "terapia_intensiva":2289,
    "totale_ospedalizzati":21401,
    "isolamento_domiciliare":402932,
    "totale_positivi":424333,
    "variazione_totale_positivi":1966,
    "nuovi_positivi":13114,
    "dimessi_guariti":2416093,
    "deceduti":97945,
    "casi_da_sospetto_diagnostico":null,
    "casi_da_screening":null,
    "totale_casi":2938371,
    "tamponi":40303520,
    "casi_testati":19685310.0,
    "note":null,
    "ingressi_terapia_intensiva":171.0,
    "note_test":null,
    "note_casi":null,
    "totale_positivi_test_molecolare":2887097.0,
    "totale_positivi_test_antigenico_rapido":51274.0,
    "tamponi_test_molecolare":34932830.0,
    "tamponi_test_antigenico_rapido":5370690.0
  }

umbros commented 3 years ago

Viene corretto con la prossima commit.

pcm-dpc / COVID-19

Righe duplicate 1 marzo 2021 (nazionale e regioni) #1086

Riassunto

1081