italia / dati.gov.it

dati.gov.it: il sito degli opendata italiani
http://dati.gov.it
Creative Commons Zero v1.0 Universal
53 stars 4 forks source link

Quali dati sono presenti in dati.gov.it: dubbi sul posizionamento #18

Open dagoneye opened 7 years ago

dagoneye commented 7 years ago

Ci sono alcune descrizioni nel sito dati.gov.it che raccontano quali dati dovrebbero esserci nel sito:

Il Portale dati.gov.it è il catalogo nazionale dei metadati relativi ai dati rilasciati in formato aperto dalle pubbliche amministrazioni italiane. Alla luce di quanto previsto dall'art. 9 del decreto legislativo n. 36/2006 (recepimento della Direttiva europea sul riutilizzo dell'informazione del settore pubblico), come modificato dal D. Lgs. n. 102/2015, esso rappresenta lo strumento di ricerca e il punto di accesso ai dati resi disponibili secondo il paradigma dell’open data.

Il Portale dati.gov.it è il catalogo nazionale dei metadati relativi ai dati rilasciati in formato aperto dalle pubbliche amministrazioni italiane. Esso rappresenta, quindi, il punto di accesso per tutti gli utenti ai dati aperti delle PA, svolgendo quelle funzioni di ricerca di cui all'art. 9 del decreto legislativo n. 36/2006. Il Portale è realizzato dall’Agenzia per l’Italia digitale ed è online dal novembre 2011. Maggiori informazioni sono disponibili alla pagina Chi siamo.

Se tutto questo è vero, è necessario nascondere/mettere in moderazione per gli admin tutti quei dati che non sono dati aperti (Open Data). Una richiesta che arriva da molti fronti, specie da tutti quelli che in questi anni si sono battuti a tutti i livelli per chiarire il concetto di riuso del dato aperto. Aspetto ribadito come primo punto anche nell'articolo dell'associazione OnData.it.

La persona o l'azienda che visita il sito dati.gov.it per la prima volta va aiutata: dovrebbe trovare la miglior coerenza possibile, specie perché di dubbi probabilmente ne ha già diversi. Immagino che questi errori siano dovuti al processo di aggregazione dei dataset dai portali degli altri enti: se è questo il caso allora significa che potrebbe capitare costantemente? Una serie di azioni possibili:

  1. fase 1: togliere i dati non aperti da dati.gov.it: pubblicare in draft in attesa di moderazione tutti quei dataset con licenze non aperte che arrivano in maniera automatica dall'aggregazione dei cataloghi locali e regionali - http://www.dati.gov.it/search/type/dataset;
  2. fase2: evitare che ricapiti: aggiungere un filtro automatico/quality check che metta in moderazione e avvisi l'ente che sta pubblicando il catalogo che quei dati non sono aperti e in quanto tali dovrebbero essere verificati. Di certo non dovrebbero essere pubblicati in maniera automatica.

Se invece, come si è detto da ormai un anno, dati.gov.it dovrebbe diventare il catalogo dei dati pubblici sia Open che non, utile forse ad aggregare la domanda di apertura di dati non ancora disponibili come Open Data, è necessario riposizionare il brand, integrare e aggiornare le descrizioni/about/etc.. presenti già oggi nel sito stesso. E magari pensare a sezioni dedicati per evitare inutili confusioni.

Questa incoerenza di fondo che continua ad emergere nel posizionamento di dati.gov.it e la mancanza di aggiornamento del catalogo dei dati presenti in dati.gov.it che abbiamo avuto fino a un mesetto fa (da fine settembre 2015 all'8 marzo 2017) senza la presenza di alcun avviso per l'utente ignaro dei retroscena ha contribuito a minare il potenziale dell'intera filiera di riuso, specie da parte delle aziende.

In generale avere due ambienti, uno di produzione ed uno di test privato, supportato da un terzo ulteriore eventuale di test pubblico per la comunità di addetti ai lavori dovrebbero essere un aspetto fondamentale per evitare che ricapitino situazioni del genere.

giorgialodi commented 7 years ago

Ciao! Grazie per la segnalazione. Ne siamo consapevoli e stiamo valutando diverse politiche di gestione per l'attuale dati.gov.it presente online come catalogo di dati aperti.

dagoneye commented 7 years ago

@giorgialodi grazie della risposta. Lo scopo di questa issue era stimolarvi nel condividere la strategia di posizionamento di dati.gov.it, perché immaginavo fosse stata già ben definita, almeno quella relativa all'aggiornamento fatto a marzo 2017.

Al netto del futuro di dati.gov.it, il problema però oggi rimane: a questo punto sfruttiamo l'approccio agile appena inaugurato con l'apertura di questo spazio e eliminiamo il bug della presenza di dati non aperti. Se oggi dati.gov.it è ancora solo il portale dei dati aperti della PA, allora quello che non è un dato aperto non dovrebbe essere visibile. (ancor meno se mostrato al pari livello dei dati aperti, senza alcuna nota o avviso, per esempio)

Se volessimo essere pignoli, servirebbe aprire una nuova issue con segnalazione di bug: al momento lo segnalo qui, la prossima volta apro un bug dedicato. I dataset non aperti sono 12, se non erro:

A quanto pare sono relativi al Veneto e all'Umbria per lo più: le regioni che domani parteciperanno al webinar. Ho scritto a chi gestisce il portale Open Data del Veneto per segnalargli l'errore: in effetti anche la fonte primaria ha la licenza errata, immagino sia una svista del flusso redazionale, così come per l'Umbria che dovrebbero essere pure Linked Open Data. Potrebbe essere un buon momento per ragionare sulla gestione di queste incongruenze assieme a loro, con spirito costruttivo: chi gestisce dati.gov.it e gli enti che vengono aggregati. Il punto è riuscire a chiamare le cose con il loro nome e aiutare a diffondere il giusto messaggio.

giorgialodi commented 7 years ago

I dataset non open, come sopra riportati, sono stati attualmente tolti dal catalogo. Allo stesso tempo sono stati avvertiti i relativi referenti regionali per risolvere il problema alla fonte. In alcuni casi abbiamo avuto riscontro, in altri no. Tuttavia, lo staff di dati.gov.it ha elaborato una politica di quality assessment che si applicherà subito dopo aver effettuato l'harvesting. La politica in prima battuta lavorerà (a giorni sarà operativa) solo sulle licenze aperte e scarterà tutti i dataset con licenze che, secondo le linee guida per la valorizzazione del patrimonio informativo pubblico, non si possono considerare aperte. La politica prevede anche la messa a punto di un processo che possa da un lato coinvolgere direttamente i referenti dei cataloghi: dati.gov.it può infatti fornire loro dei log dettagliati con i risultati dell'harvesting, dall'altro operare sui dati relativi alle licenze stesse (e.g., creazione di un vocabolario controllato che estende quello attualmente disponibile a livello europeo). Si ritiene che questo complessivamente possa contribuire a migliorare le attuali situazioni anomale. In generale si sta anche lavorando per mettere in evidenza anomalie riscontrate nel portale stesso, come operazione di monitoraggio. In seconda battuta lo staff di dati.gov.it valuteràa l'aggiunta anche di altri criteri di quality assessment (e.g., la presenza di soli formati proprietari non accompagnati da almeno un formato non proprietario, secondo le raccomandazioni delle linee guida prima menzionate).

dagoneye commented 7 years ago

Grazie della risposta, ne riprendo una parte:

Tuttavia, lo staff di dati.gov.it ha elaborato una politica di quality assessment che si applicherà subito dopo aver effettuato l'harvesting. La politica in prima battuta lavorerà (a giorni sarà operativa) solo sulle licenze aperte e scarterà tutti i dataset con licenze che, secondo le linee guida per la valorizzazione del patrimonio informativo pubblico, non si possono considerare aperte.

Ottimo: quindi di fatto lavora nella fase di pre-pubblicazione e evita di pubblicare dati non aperti. Esiste una data di lancio effettiva di questa politica?

La politica prevede anche la messa a punto di un processo che possa da un lato coinvolgere direttamente i referenti dei cataloghi: dati.gov.it può infatti fornire loro dei log dettagliati con i risultati dell'harvesting, dall'altro operare sui dati relativi alle licenze stesse (e.g., creazione di un vocabolario controllato che estende quello attualmente disponibile a livello europeo). Si ritiene che questo complessivamente possa contribuire a migliorare le attuali situazioni anomale. In generale si sta anche lavorando per mettere in evidenza anomalie riscontrate nel portale stesso, come operazione di monitoraggio.

Far capire in pochi istanti lo stato del portale dati.gov.it da parte di un utente neofita del tema è quello che è mancato nel passato. Specie nel caso siano presenti anomalie nei dati catalogati.

La parte di monitoraggio pubblica potrebbe fornire una serie di dati generali: mi vengono in mente alcune cose tipo status.dati.gov.it

In seconda battuta lo staff di dati.gov.it valuterà l'aggiunta anche di altri criteri di quality assessment (e.g., la presenza di soli formati proprietari non accompagnati da almeno un formato non proprietario, secondo le raccomandazioni delle linee guida prima menzionate).

I dettagli a questo punto immagino si possono trovare in questo post di Marcello Verona?

giorgialodi commented 7 years ago

La politica di evitare di pubblicare dati non aperti applicata sulle sole licenze è già attiva. Per gli altri suggerimenti inclusi nel messaggio, ritengo siano molto improtanti e da considerare. Attenzione solo all'ultimo passaggio sul post di Marcello Verona. Quello è un post privato e non un post dello staff di dati.gov.it. Lo staff di dati.gov.it è consapevole della problematica relativa alla qualità di quanto incluso nel catalogo. Soprattutto nell'evoluzione del portale, si potrà ragionare nell'applicare una politica più ampia e robusta di monitoraggio e di qualità di quanto offerto.