italia / dati.gov.it

dati.gov.it: il sito degli opendata italiani
http://dati.gov.it
Creative Commons Zero v1.0 Universal
53 stars 4 forks source link

Apertura degli endpoints CKAN più importanti #1

Open mindrones opened 7 years ago

mindrones commented 7 years ago

Ciao, in primis grazie per aver aperto questo spazio!

Dopo aver letto il post di Giovanni e la nota sull'evoluzione di dati.gov.it mi rendo conto che questa issue potrebbe forse essere inutile, ma in mancanza di una roadmap scrivo qui.

Qualche tempo fa ho testato manualmente quasi tutti gli endpoints CKAN e li ho trovati quasi tutti disabilitati. Assumendo che potrebbe richiedere molto tempo per avere delle API usabili in dati.gov.it [1], è possibile aprire il maggior numero di endpoints possibile così da poter lavorare sui dati attuali?

Divido gli endpoints mancanti per "task".

La necessità forse più impellente è quella di poter richiedere la lista delle entità di un certo tipo presenti in un certo momento:

e non meno importante quella di poter richiedere i metadati degli aggiornamenti più recenti in modo da non dover scaricare ogni giorno tutti i metadati e calcolare le differenze temporali:

Una volta individuato cosa c'è e cosa è cambiato, è necessario ovviamente poter richiedere le singole entità:

Sarebbe molto utile poter cercare:

mentre personalmente non ritengo siano urgenti quelle relative all'autocompletamento:

nè quelle sulle relazioni "sociali" tra risorse (followers, following) e altre cose più "gestionali", diciamo da qui in poi.

Grazie!

[1] Come nota a parte, sarebbe molto utile per ogni iniziativa/progetto pubblicare una "tentative roadmap", anche se cambierà di giorno in giorno, in modo da capire i vostri orizzonti temporali ed evitare di fare troppo "guessing" :)

vitsca commented 7 years ago

Salve. Scrivo qui solo per rinforzare l'issue proposto da mindrones. Assolutamente importante per la dinamica dell'utilizzo e ri-utilizzo iniziare a abilitare su dati.gov.it le API CKAN possibili, e fornire una roadmap per gli step successivi, qualora siano davvero necessari.

giux78 commented 7 years ago

Ciao, grazie a voi. Ogni consiglio e' un aiuto.

La roadmap di sviluppo dovrebbe essere rilasciata a breve, cercando di avere un processo di sviluppo agile evolverá col tempo. Stiamo valutando di cambiare gradualmente da DKAN a CKAN, e quindi l'apertura delle API CKAN standard dovrebbe essere naturale. DKAN non credo che supporti tutte le API che hai elencato.

aborruso commented 7 years ago

@giux78 la cosa che dovrebbe essere modificata presto è questa frase della pagina sviluppatori:

Per maggiori informazioni sull’utilizzo delle API di CKAN per la consultazione del catalogo fai riferimento alla documentazione di CKAN.

E inserire al limite l'elenco delle chiamate attualmente possibile.

Grazie

marciuz commented 7 years ago

... che è questo http://dkan.readthedocs.io/en/rtd/apis/ckan-dataset.html

Facciamo asap, grazie.

aborruso commented 7 years ago

@marciuz grazie a te

seralf commented 7 years ago

segnalo in caso possa tornare utile come riferimento a qualcuno, visto che si citava OpenAPI/swagger:

in caso una descrizione swagger delle API attuali si può scrivere anche a mano in JSON/YAML, per pubblicarla come file statico sul webserver attuale, in attesa delle future versioni.

aborruso commented 7 years ago

Solo un promemoria per modificare la pagina, circoscrivendo alle reali chiamate oggi possibili. Insisto perché mi sembra importante e utile

dagoneye commented 7 years ago

Solo un promemoria per modificare la pagina, circoscrivendo alle reali chiamate oggi possibili. Insisto perché mi sembra importante e utile

Confermo l'importanza di documentare al meglio la pagina degli sviluppatori, inserendo eventualmente anche il link verso la doc di DKAN, fino a che non avvengono modifiche ulteriori come l'adozione di CKAN al posto di DKAN, etc...

aborruso commented 7 years ago

@dagoneye I agree.

E aggiungerei in ogni caso - oltre il link verso la documentazione DKAN - l'elenco di tutte le chiamate oggi possibili su datigovit (al limite in una pagina del wiki di questo repo).

Perché (almeno fino a qualche settimana fa) non erano abilitate tutte, come ad esempio non era abilitata datastore/search.

marciuz commented 7 years ago

La pagina degli sviluppatori è stata appena aggiornata, con documentazione del metodo _ckan_current_package_list_withresources che permette, tra l'altro, un harvesting dei metadati molto più efficiente rispetto alle chiamate indice/dataset. Anche il link verso DKAN è stato inserito.

Infine segnalo che il metodo _packagesearch non è disponibile di default su DKAN, né al momento è previsto uno sviluppo a riguardo nella roadmap di dati.gov.it, nella logica di switch verso CKAN.

dagoneye commented 7 years ago

grazie @marciuz ora per chi arriva su dati.gov.it è molto più chiaro. Almeno fino a che sarà presente DKAN su dati.gov.it.

@mindrones cosa ne pensi?

mindrones commented 7 years ago

@dagoneye si, molto più chiaro ora. @marciuz sarebbe possibile conoscere la roadmap per CKAN? Mi aspetterei di trovarla nei Projects (sono linkati nel README come stato di avanzamento) ma la pagina è vuota :/

giorgialodi commented 7 years ago

La roadmap per CKAN la renderemo disponibile quanto prima, ci stiamo predisponendo per mettere in piedi un po' tutto il percorso. In realtà, un'istanza CKAN di test che usa l'estensione DCAT-AP_IT, è già stata installata ed è già operativa per alcuni dati che sono attualmente riversati su dati.gov.it online. Tuttavia, ci sono ancora diverse cose da applicare prima di passare allo switch completo.

seralf commented 7 years ago

grandi! :-)

Il giorno 23 maggio 2017 17:38, giorgialodi notifications@github.com ha scritto:

La roadmap per CKAN la renderemo disponibile quanto prima, ci stiamo predisponendo per mettere in piedi un po' tutto il percorso. In realtà, un'istanza CKAN di test che usa l'estensione DCAT-AP_IT, è già stata installata ed è già operativa per alcuni dati che sono attualmente riversati su dati.gov.it online. Tuttavia, ci sono ancora diverse cose da applicare prima di passare allo switch completo.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/dati.gov.it/issues/1#issuecomment-303438493, or mute the thread https://github.com/notifications/unsubscribe-auth/AAFYfM0nYw9Ae35iBqi_xoNX_xqe_Bitks5r8v1ngaJpZM4MoHjK .