search

opendatasicilia / tansignari

"T'ansignari e t'appeddiri"
http://tansignari.opendatasicilia.it
Creative Commons Attribution 4.0 International
18 stars 10 forks source link

Conversione json in GeoJSON o CSV #87

Closed simomus closed 5 years ago

simomus commented 5 years ago

Buongiorno, premetto che non sono esperto di gis o un programmatore, vi chiedo di avere pazienza... Sto realizzando su uMap la seguente mappa (mappa degli spazi culturali di Roma e del Lazio): https://umap.openstreetmap.fr/it/map/gli-spazi-della-cultura-a-roma_348936. Sto lavorando su una prima serie di layer basati su open data e Linked Open Data, tra cui quello dei "luoghi della cultura", i cerchietti rosso scuro ma anche le gocce rosso vivo, che è tratto da qui: http://dati.beniculturali.it/dataset/dataset-luoghiLazio.json http://dati.beniculturali.it/descrizione_dataset/ Per il layer con i cerchietti rosso scuro ho fatto una conversione brutale usando questo servizio: http://convertcsv.com/json-to-csv.htm - allego il csv qui: luoghidellacultura_mibac.zip; mentre il layer con le gocce rosso vivo è una versione csv per cui ho avuto un gentilissimo supporto. Restano dei problemi però. Sotto ho incollato uno screenshot con uno dei popup del nuovo csv. Parte del testo scompare dietro il limite della scheda (problema fondamentale, che non sono riuscito a risolvere), e le ontologie descrittive a sinistra sono poco chiare e ridondanti. Si può fare qualcosa per rendere più presentabile il tutto? Qual è per il futuro il metodo migliore per questo genere di conversioni? Grazie mille!!

immagine

gbvitrano commented 5 years ago

occhio che la mappa è editabile da chiunque...

immagine

Per risolvere il problema del popup con le info che spariscono dei impostare di default (quindi dalle impostazioni generali) per tutti i layer lo Stile del contenuto del Popup in Pannello laterale

immagine

e devi uniformare la chiave etichetta immagine

in modo da non avere questa presentazione, che non fa capire nulla

2019-08-01_12h34_46

2019-08-01_12h35_30

gbvitrano commented 5 years ago

Dove possibile dovresti uniformare anche il Template del contenuto del popup

immagine

simomus commented 5 years ago

occhio che la mappa è editabile da chiunque...

immagine

Per risolvere il problema del popup con le info che spariscono dei impostare di default (quindi dalle impostazioni generali) per tutti i layer lo Stile del contenuto del Popup in Pannello laterale

immagine

e devi uniformare la chiave etichetta immagine

in modo da non avere questa presentazione, che non fa capire nulla

2019-08-01_12h34_46

2019-08-01_12h35_30

Grazie @gbvitrano, per quanto riguarda lo stile del contenuto avevo già provato ma dà lo stesso problema immagine

simomus commented 5 years ago

Su chiave dell'etichetta e template del contenuto mi trovo in difficoltà perché in genere li gestisco bene se ho un file xlsx ma con un csv, soprattutto se così incasinato, mi perdo...

gbvitrano commented 5 years ago

ci sono troppe info, devi personalizzare il contenuto del popup/pannello laterale

immagine

simomus commented 5 years ago

Quanto alle autorizzazioni pensavo di mantenerla per il momento editabile per facilitare il confronto, visto che non l'ho ancora diffusa. Ma se me lo sconsigliate in ogni caso, modifico l'impostazione.

gbvitrano commented 5 years ago

Usando il codice di umap puoi ottimizzare il tutto, vedo indirizzi http molto lunghi

2019-08-01_12h59_51

gbvitrano commented 5 years ago

Quanto alle autorizzazioni pensavo di mantenerla per il momento editabile per facilitare il confronto, visto che non l'ho ancora diffusa. Ma se me lo sconsigliate in ogni caso, modifico l'impostazione.

Se è una tua scelta lasciala cosi :-) pensanvo ad una svista

simomus commented 5 years ago

Usando il codice di umap puoi ottimizzare il tutto, vedo indirizzi http molto lunghi

2019-08-01_12h59_51

Sì più o meno me la cavo con la formattazione quando ho xslx ma con csv mi impicco veramente... vuol dire che farò delle prove impiccandomici un po di più... :)

aborruso commented 5 years ago

@simomus e che cambia tra un CSV e XLS??

Qui forse ti mandano in confusione i nomi dei campi? Perché sia per CSV che XLS, per formattare devi sempre usare i nomi colonne e nient'altro.

gbvitrano commented 5 years ago

Come dice @aborruso devi ripulire i campi è tenere solo ciò che ti è utile

2019-08-01_13h07_31

domanda... è proprio necessario collegare i dati dinamicamente...? le info cambiamo nel tempo?

simomus commented 5 years ago

@simomus e che cambia tra un CSV e XLS??

Qui forse ti mandano in confusione i nomi dei campi? Perché sia per CSV che XLS, per formattare devi sempre usare i nomi colonne e nient'altro.

A monte dei nomi incasinati di questo file è che faccio fatica a leggere i contenuti delle tabelle in csv. Quindi è solo per mia ignoranza. Cercherò di fare un po' di esercizio...

simomus commented 5 years ago

Come dice @aborruso devi ripulire i campi è tenere solo ciò che ti è utile

2019-08-01_13h07_31

domanda... è proprio necessario collegare i dati dinamicamente...? le info cambiamo nel tempo?

Diciamo che è comodo, perché credo sia un dataset in costante aggiornamento. E poi mi pare utile capire come si fa perché non immaginavo che su umap si potesse fare. Cmq sì, proverò a ripulire ma non saprei proprio come risolvere l'eccedenza del testo rispetto al campo del popup.

simomus commented 5 years ago

@simomus e che cambia tra un CSV e XLS?? Qui forse ti mandano in confusione i nomi dei campi? Perché sia per CSV che XLS, per formattare devi sempre usare i nomi colonne e nient'altro.

A monte dei nomi incasinati di questo file è che faccio fatica a leggere i contenuti delle tabelle in csv. Quindi è solo per mia ignoranza. Cercherò di fare un po' di esercizio...

Dubbio: ma voi suggerite di agire direttamente su umap o sulla tabella offline prima di caricarla?

gbvitrano commented 5 years ago

off-line puoi aggire solo sul file csv che hai caricato manualmete.

Per ottimizzare le info riportate nel popup/pannello devi

Fai caricare solo i campi necessari con l'editing di umap immagine

gbvitrano commented 5 years ago

i link di questo layer non fanno altro che rimandarti su altro sito... immagine

immagine

Per ottenere tutte le info dovresti fare una query ma bisogna essere esperti di LOD

simomus commented 5 years ago

i link di questo layer non fanno altro che rimandarti su altro sito... immagine

immagine

Per ottenere tutte le info dovresti fare una query ma bisogna essere esperti di LOD

Cioè se ho capito bene: devo fare editing della tabella direttamente su umap (eliminando le colonne inutili) e selezionare i campi da visualizzare nel popup indicandoli nel template del contenuto, scremando tutti i campi che non generano testo ma soltanto url. Però non ho capito se è risolvibile il problema dell'eccedenza grafica del contenuto dalla scheda del popup.

aborruso commented 5 years ago

Ciao @simomus ecco alcune note più estese.

Inizio da una che ho già scritto: scrivi di non avere problemi con XLS, ma ne hai con i CSV. Salva il CSV in XLS :)
Io non credo che tu abbia problemi con il formato, ma soltanto con una tabella così ricca. Le colonne ti servono tutte? Se no rimuovine qualcuna. I nomi delle colonne ti "confondondo"? Cambiagli nome.

Prima cosa: questi file non sono dei JSON, ma dei JSON-LD, ovvero dei JSON per i Linked Data. Alcune note su questo:

Non sono un esperto di Linked Data e su questo altri ti possono dare consigli migliori, ma se cerchi un tool "per tutti", da usare per aprire e gestire questo formato, potresti provare OpenRefine, uno strumento prezioso per fare pulizia, ristrutturazione, trasformazione e arricchimento di dati. Tra i formati che gestisce in import, c'è pure il JSON-LD.

image

Una volta importato, potrai trasformare il file o esportarlo in CSV abbastanza usabile. Questo avrà delle colonne numerate, come quelle in fondo. Questo avviene quando in qualche modo delle tabelle annidate, come quella di sopra dei servizi.

Non so se ti ho aiutato, ma il tema è ricco.

@type:0
@type:1
accessCondition:hasAccessCondition:0
accessCondition:hasAccessCondition:0:@id
accessCondition:hasAccessCondition:1:@id
accessCondition:hasAccessCondition:2:@id
accessCondition:hasAccessCondition:3:@id
cis:hasDiscipline:0:@id
cis:hasDiscipline:1:@id
cis:hasDiscipline:2:@id
cis:hasDiscipline:3:@id
cis:hasDiscipline:4:@id
cis:hasDiscipline:5:@id
cis:providesService:0:@id
cis:providesService:10:@id
cis:providesService:11:@id
cis:providesService:12:@id
cis:providesService:13:@id
cis:providesService:14:@id
cis:providesService:15:@id
cis:providesService:16:@id
cis:providesService:17:@id
cis:providesService:18:@id
cis:providesService:19:@id
cis:providesService:1:@id
cis:providesService:20:@id
cis:providesService:2:@id
cis:providesService:3:@id
cis:providesService:4:@id
cis:providesService:5:@id
cis:providesService:6:@id
cis:providesService:7:@id
cis:providesService:8:@id
cis:providesService:9:@id
l0:description:0:@language
l0:description:0:@value
l0:description:1:@language
l0:description:1:@value
l0:description:@language
l0:description:@value
l0:identifier
potapit:hasTicket:0:@id
potapit:hasTicket:1:@id
smapit:hasOnlineContactPoint:0:@id
smapit:hasOnlineContactPoint:1:@id
smapit:hasOnlineContactPoint:2:@id
simomus commented 5 years ago

Grazie mille @aborruso e @gbvitrano !! Appena ho un po' di tempo cerco di capirci qualcosa in generale con i JSON-LD, e sull'uso di OpenRefine. Per ora faccio una pulizia della tabella già caricata e poi vi sottopongo il risultato, sperando che la pulizia risolva anche il problema della visualizzazione parziale nel popup. A presto!

simomus commented 5 years ago

Buongiorno @aborruso e @gbvitrano, sono finalmente riuscito a sistemare la tabella (layer "Luoghi della cultura": https://umap.openstreetmap.fr/it/map/gli-spazi-della-cultura-a-roma_348936). Restano molte imperfezioni ma ora mi pare accettabile. Ho scelto di lasciare tutti i link per il momento, perché comunque rinviano a informazioni utili e soprattutto perché non ho il tempo di sostituirli con i relativi contenuti. Da quanto mi risulta non si trovano in giro visualizzazioni su mappa di questo dataset, quindi mi pare che non sia una fatica sprecata. Che ne pensate? Avete altri suggerimenti o dubbi? Cmq vi farò sapere quando avrò terminato questa mappa, o cmq quando deciderò di fermarmi... Grazie ancora!

aborruso commented 5 years ago

@simomus mi fa piacere. Cosa hai fatto in particolare?

simomus commented 5 years ago

@aborruso scusa il ritardo della risposta ma sono stato impicciatissimo. Ho semplicemente seguito i vostri consigli, e cioè ho pulito la tabella direttamente su umap, sfrondando colonne e ridefinendo le etichette. Sono poi riuscito ad aggiustare la formattazione del popup mediante la funzione di definizione del template del contenuto, anche per quanto riguarda la sequenza delle informazioni. Insomma niente di trascendentale ma il risultato mi sembra se non altro accettabile ora. E perciò ti rinnovo il ringraziamento!!