cesaregerbino
commented
8 years ago Ciao Andrea,
scusa x il ritardo con cui rispondo ma dal ritorno da SOD16 non ho avuto molto tempo.
Il nostro lavoro di "montaggio" e' stato fatto molto velocemente man mano che recuperavamo dati durante l'hackaton e ho cercato di dare priorità a permettere di "vedere" la distribuzione dei dati sul territorio nazionale al termine della giornata pur sapendo che si trattava di dati, al momento, sporchi sia come dati descrittivi sia come dati geo riferiti (vedi i casi di Liguria e Veneto ....).
Questa è anche la ragione x cui x questi dati NON ho creato i corrispondenti shapefiles.
Quindi i dati sono SI da ripulire e quindi ben venga il tuo contributo (e di chi vorrà darti una mano ....). Ottimo il fatto che sia così disponibile il preview da gitHub (e quindi oggi ne ho imparata un'altra che non sapevo, o meglio a cui non avevo pensato, grazie a SOD !!!).
Resta da capire la "confrontabilita'" dei dati tra loro anche e non solo per gli aspetti temporali (i dati si riferiscono a tempi diversi e quindi un sito presente in una fonte potrebbe, anche correttamente, non essere più presente in un'altra più recente), ma questo è un altro aspetto.
Grazie Andrea del tuo prezioso contributo e se servono altre info chiedi pure.
A risentirci presto perché ho letto le varie mail scambiate e ho delle osservazioni e considerazioni da fare .....
Buona serata ....
Cesare
Il mercoledì 11 maggio 2016, Andrea Borruso notifications@github.com ha scritto:
Ciao, nella cartella /dati/MinAmbiente/PNA_W/ ci sono diversi CSV. Vorrei capire con voi e sopratutto con @cesaregerbino https://github.com/cesaregerbino che ha un po' seguito la parte di "montaggio" dei dati se ha senso un lavoro di pulizia di base.
Ho preso in esame soltanto uno dei file Campania_2013.csv e ho applicato il seguente comando:
cat Campania_2013.csv | tr -d "\n" | csvformat -d ";" -D "," -e Windows-1252 | sed '/^$/d'
In questo modo:
- ho rimosso degli inutili line feed presenti (nella IV colonna)
- ho "standardizzato" un po il CSV
- è UTF8
- il separatore è la ,
- rimosso eventuali righe vuote (ma non ce ne è, l'ultima in realtà non è vuota)
La standardizzazione consente un comodo preview https://github.com/spaghetti-open-data/code4health-amianto/blob/master/dati/MinAmbiente/PNA_W/Campania_2013.csv dentro github, ma anche (ad esempio) un import diretto in cose alle gdrive.
Ho fatto altre due cose:
- aggiornato il file progetto QGIS rispetto a questo CSV aggiornato (cambia il separatore e QGIS lo deve sapere)
- creato automaticamente - con csvstat - un file che descrive il suddetto file CSV.
Il file è da pulire ulteriormente e ci sono problemi di caratteri "strani" ancora da risolvere. Volevo capire se vi sembra utile procedere in questo senso anche con gli altri CSV.
Saluti
— You are receiving this because you were mentioned. Reply to this email directly or view it on GitHub https://github.com/spaghetti-open-data/code4health-amianto/issues/2
Cesare Gerbino
http://cesaregerbino.wordpress.com/ http://www.facebook.com/cesare.gerbino http://www.facebook.com/pages/Cesare-Gerbino-GIS-Blog/246234455498174?ref=hl https://twitter.com/CesareGerbino http://www.linkedin.com/pub/cesare-gerbino/56/494/77b
Questo è un account di posta personale di Cesare Gerbino: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro
This is Cesare Gerbino mail account. Text is written by Cesare Gerbino: the views expressed are mine and not necessarily those of my employer. .
dagoneye
aborruso
Ciao, nella cartella /dati/MinAmbiente/PNA_W/ ci sono diversi CSV. Vorrei capire con voi e sopratutto con @cesaregerbino che ha un po' seguito la parte di "montaggio" dei dati se ha senso un lavoro di pulizia di base.
Ho preso in esame soltanto uno dei file
Campania_2013.csve ho applicato il seguente comando:In questo modo:
,La standardizzazione consente un comodo preview dentro github, ma anche (ad esempio) un import diretto in cose alle gdrive.
Ho fatto altre due cose:
csvstat- un file che descrive il suddetto file CSV.Il file è da pulire ulteriormente e ci sono problemi di caratteri "strani" ancora da risolvere. Volevo capire se vi sembra utile procedere in questo senso anche con gli altri CSV.
Saluti