search

italia / dati.gov.it

dati.gov.it: il sito degli opendata italiani
http://dati.gov.it
Creative Commons Zero v1.0 Universal
53 stars 4 forks source link

Quale è la frequenza di aggiornamento (verificabile) dell'harvesting Dati.Gov.it? #20

Open marcomb opened 7 years ago

marcomb commented 7 years ago

Non mi è chiaro quando l'harvester di Dati.Gov.it effettua la sua raccolta nei cataloghi. Noto che mancano diversi dataset tra quelli presenti nel nostro catalogo (dati.trentino.it), pubblicati ormai da alcuni mesi. C'è una pagina web dove si può leggere la data dell'ultimo passaggio?

marciuz commented 7 years ago

Buongiorno Marco, attualmente la frequenza è settimanale. Dati.trentino.it nello specifico viene interrogato la notte tra il venerdì ed il sabato. Non abbiamo al momento una pagina pubblica dove vedere la history dell'harvester.

dagoneye commented 7 years ago

Ciao @marciuz,

Non abbiamo al momento una pagina pubblica dove vedere la history dell'harvester.

Al momento è prevista quindi? Esiste una data di pubblicazione?

Immagino che per gestirsi al meglio con il debug lato PA locale -> portale nazionale sarebbe utile, ma allo stesso tempo è un aspetto che aumenta la credibilità di dati.gov.it dare evidenza pubblica dell'ultimo aggiornamento eseguito (in questo caso potrebbe bastare un timestamp di sintesi).

giorgialodi commented 7 years ago

@dagoneye abbiamo creato, anche in risposta dell'issue #14, una pagina "Come federare il proprio catalogo con dati.gov.it" http://www.dati.gov.it/content/come-federare-proprio-catalogo-datigovit e nella pagina abbiamo incluso il puntamento ai cataloghi federati http://www.dati.gov.it/elenco-harvest-sources dove ci sono tutte le informazioni su quando è avvenuto l'harvesting e quando è pianificato il prossimo.

dagoneye commented 7 years ago

Ottimo, ora abbiamo qualcosa di più in comune con gli amici inglesi. - http://guidance.data.gov.uk/harvesting.html

A parte gli scherzi, è un tassello fondamentale. Immagino che in caso di errore venga scritto qualcosa (o magari si veda una data anteriore di quella determinata fonte rispetto alle altre, senza aggiornamenti recenti al pari delle altre fonti).

giorgialodi commented 7 years ago

Siamo ancora un po' lontani da quella pagina, ma con anche altri strumenti ci avviciniamo...e non scherzo :-)

Per quanto riguarda l'ultimo quesito, in caso l'harvesting vada in errore viene mostrata l'ultima data in cui è andato a buon fine.

piersoft commented 6 years ago

per rendere tutto più "masticabile" ho creato questo script automatico: bit.do/datigov

aborruso commented 6 years ago

Chiuderei la issue