Closed mariaclaudia closed 5 years ago
Buongiorno, per non cambiare la url si dovrebbe ogni volta aggiornare lo stesso documento. Ci sembra però che mantenere lo stesso nome del file potrebbe facilmente generare per tutti confusione tra le diverse versioni. N. Capozzi
@ncapozzi potreste chiamare l'ultima versione con un nome fisso nel tempo "..._latest.xls" e ogni volta rinominare quello che era latest sino a un istante prima, con la data del giorno dell'inserimento del nuovo latest "..._20190408.xls"
Gentile @ncapozzi , per esempio ISTAT lo fa https://www.istat.it/it/archivio/6789. Il punto è che ogni dataset pubblicato, se non ha dati personali al suo interno come in questo caso, dovrebbe essere aperto (secondo la normativa italiana) e pubblicato secondo le raccomandazioni incluse nelle linee guida per la valorizzazione del patrimonio informativo pubblico. Per esempio dovrebbero esserci metadati di corredo conformi al profilo nazionale DCAT-AP_IT dove per esempio la data di ultima modifica è obbligatorio specificarla. Il DAF potrebbe essere strumento utile da usare per rispettare queste raccomandazioni ma anche per il DAF avere un unico punto di accesso al vostro dato è cruciale. Questo vostro dataset è molto importante, ha anche elementi suoi che possono tornare utili, tipo "denominazione translitterata". Il suo riutilizzo quindi può essere molto ampio. Per incentivarlo è necessario prendersi cura del dataset: da come viene pubblicato fino ai suoi contenuti (per esempio: si usano i codici delle province in formato numerico mentre ISTAT usa il formato alfanumerico a tre cifre, scrivete tutti i nomi in maiuscolo ma in diverse altre basi di dati sono con la prima lettera maiuscola e poi tutto minuscolo). Piccole cose ma che portano coloro che riutilizzano il dataset a workaround continui che, con poche accortezze alla fonte, sarebbero sicuramente superabili. My2cents /cc @mariaclaudia @mccalv
Buongiorno @ncapozzi , volevo chiederLe se ci sono aggiornamenti in merito all'implementazione di permalink anche in base ai suggerimenti proposti da @giorgialodi e @aborruso e alla pubblicazione open data del dataset in oggetto https://github.com/italia/anpr/issues/1253 Grazie per l'attenzione.
Buongiorno @ncapozzi , in qualità di responsabile della Piattaforma Digitale Nazionale Dati ( PDND , aka DAF ) chiedo di attuare al più presto l'implementazione delle modifiche come da suggerimenti proposti in precedenza, soprattutto per facilitare il riutilizzo dei dati pubblicati ed una corretta elaborazione e ridistribuzione attraverso la PDND. Cordiali Saluti
Buonasera, per il momento abbiamo reso fisso il nome del file con relativa URL. Se tutti approvano il formato CSV procederemo anche con questa trasformazione. Proponiamo anche di salvare l’archivio su un percorso del repository github, in questo modo la storia delle modifiche verrebbe data dal log dei commit. Ricordiamo anche che per le case software è possibile richiedere i dati dell'archivio comuni utilizzando il WS 7001.
N. Capozzi
Buonasera dott. @ncapozzi l'URL fisso è quello visibile in home, ovvero https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx ?
Grazie
Si
Buongiorno, da utente confermo quanto detto da @giorgialodi. Ogni volta che si devono incrociare i dati, avere il codice provinciale diverso da quello di ISTAT è un problema; andrebbe normalizzato a 3 caratteri.
Inoltre non vedo (magari è in una sezione interna, ma nel caso lo renderei più visibile) un file che descriva la tabella (ad esempio cosa significa avere date nell'anno 9999 e non controdedurlo, il significato di A
e C
in STATO
, il significato di AE
e I
in FONTE
, ecc.).
Il link a questo file (un classico tracciato record, con il vocabolario dei valori) lo metterei accanto al file XLS (e CSV nel futuro) in modo da dargli la giusta evidenza.
Grazie
Gentile @ncapozzi innanzitutto grazie per gli interventi fatti che ci aiuteranno sicuramente nella PDND a valorizzare il dato da voi reso disponibile :) Per quanto riguarda l'approvazione sul formato CSV, potrebbe aiutare questo riferimento: l'inventore del Web, Tim Bernes Lee, ha coniato, ormai diversi anni fa, il modello 5 star data model, per la rappresentazione dei dati aperti sul web. Il CSV sarebbe il livello 3, come si vede dal riferimento (i.e., dato tabellare in un formato aperto, con licenza aperta). Come Italia, con le llinee guida nazionali per la valorizzazione del patrimonio informativo pubblico abbiamo recepito il modello già dal 2013 e indicato il CSV come uno dei formati aperti per il livello 3. I livelli superiori 4 e 5 sono quelli dove si usano i veri e propri standard (del Web Semantico) e sono quelli su cui stiamo lavorando con @mariaclaudia nella PDND/DAF proprio per questi dati dell'archivio storico dei comuni, utilizzando l'ontologia dei luoghi/indirizzi sviluppata in collaborazione con ISTAT e Agenzia delle Entrate. Spero questo possa aiutare per la decisione finale.
Gentile @ncapozzi ne approfitto per fare due segnalazioni per il file dei comuni [1]:
]
;Sud Sardegna
è associato il codice provinciale "112", mentre questo codice in ISTAT è "111".Saluti
[1] https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx
Gentile dott. @ncapozzi
Al comune di Zuclo, non più attivo, è assegnato il codice di provincia ];
su questo rettifico, quel carattere devo averlo inserito io. Quindi tutto ok.
Saluti
Buonasera, il codice numerico IDPROVINCIA riportato nel file è quello interno di ANPR e non è detto che coincida con quello ISTAT che noi non riportiamo. N. Capozzi
Buonasera dott. @ncapozzi e grazie.
In un messaggio precedente ho scritto:
Inoltre non vedo (magari è in una sezione interna, ma nel caso lo renderei più visibile) un file che descriva la tabella (ad esempio cosa significa avere date nell'anno 9999 e non controdedurlo, il significato di
A
eC
inSTATO
, il significato diAE
eI
inFONTE
, ecc.). Il link a questo file (un classico tracciato record, con il vocabolario dei valori) lo metterei accanto al file XLS (e CSV nel futuro) in modo da dargli la giusta evidenza.
Questo dell'ID della provincia è un altro esempio, per cui è a mio avviso necessario - per un file così importante - l'associazione con un file di testo che lo descriva.
Saluti
@ncapozzi sarebbe possibile per completezza aggiungere anche l'ID Provincia ISTAT - ritengo il consolidamento di questo dataset molto importante
Potremmo pubblicare il file con l'aggiunta della colonna ID Provincia ISTAT già da domani ma forse è meglio dare qualche giorno di preavviso in modo che tutti possano adeguarsi. Va bene? N. Capozzi
grazie @ncapozzi, direi che possiamo in coerenza con il change management pubblicare subito anche la nuova versione lasciando un tempo in cui la precedente è ancora valida ma deprecata per poi abbandonarla
Per noi sarebbe molto utile. Come sarebbe comunque utile quello richiesto da @aborruso che speriamo anche di attuare meglio quando avremo pronto il dataset prodotto con standard del web semantico, con un'ontologia fatta con ISTAT e Agenzia Entrate , allineata a standard europei.
Per mantenere entrambe le versioni per un certo tempo dobbiamo pubblicare due file con nome e link diverso, ma questo non sembra coerente con la richiesta di un nome fisso
Grazie @ncapozzi, ritengo che questo sia un problema più generale sul quale dobbiamo lavorare (lascerei aperta questa evoluzione) per erogare queste tabelle in modalità programmatica e gestire il versioning. Per il momento possiamo avere comunque un doppio indirizzo per consentire ai colleghi di lavorare sulla nuova versione e contemporaneamente un annuncio che dismetta la precedente diciamo entro 30 giorni. Che ne dite?
Il link fisso https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx di recente istituzione lo dovremmo associare alla nuova versione o alla vecchia? Inoltre temo che per inserire entrambe le versioni dobbiamo togliere qualche altro documento dalla home page del portale. Decidiamo noi?
Come concordato per le vie brevi il link fisso https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx resta associato alla versione corrente. La nuova versione sarà pubblicata con nuovo nome e link in aggiunta alla vecchia solo nella pagina delle Tabelle di riferimento. Dopo 30 giorni la vecchia versione sarà eliminata.
Per le pubblicazioni, ogni versione del job di export attiva può generare un suo file con nome unico, anche se quella "master" farà riferimento all'ultima versione ufficiale, che verrà aggiornata solo quando la nuova versione del file verrà validato.
Ci sono degli aggiornamenti sulla richiesta di aggiornamento del file in formato csv ?
Cordiali Saluti
Il giorno lun 29 apr 2019 alle ore 17:35 ncapozzi notifications@github.com ha scritto:
Per mantenere entrambe le versioni per un certo tempo dobbiamo pubblicare due file con nome e link diverso, ma questo non sembra coerente con la richiesta di un nome fisso
— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252#issuecomment-487629029, or mute the thread https://github.com/notifications/unsubscribe-auth/ALNKOMVDYS62424MVD6KZU3PS4ITVANCNFSM4HDLNAPA .
--
Andrea Carlini Chief Data Product Manager ·D
TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it
Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.
Buongiorno @ncapozzi, grazie per gli interventi fatti fino ad ora.
Le scrivo per chiederLe se ci sono aggiornamenti su:
pubblicazione in csv
aggiunta del campo "ID Provincia ISTAT"
utilizzo di un permalink (vedo che il dataset si chiama tabella+3+archivio+comuni.xlsx e immagino sia un nome temporaneo)
Grazie per l'attenzione Cordiali saluti
Buonasera, siamo in attesa di conferme dal team digitale.
N. Capozzi
Buonasera ,
Mi può indicare quali conferme si aspetta da noi ? Le richieste di Maria Claudia ( Team Trasformazione Digitale ) e Giorgia Lodi ( AgiD ) sono in linea con i requisiti concordati all'interno del team per la corretta ingestion nella Piattaforma Nazionale del dataset in oggetto.
Cordiali Saluti.
--
Andrea Carlini Chief Data Product Manager ·D
TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it
Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.
Il giorno mar 21 mag 2019 alle ore 18:42 ncapozzi notifications@github.com ha scritto:
Buonasera, siamo in attesa di conferme dal team digitale.
N. Capozzi
— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252?email_source=notifications&email_token=ALNKOMUCSJNM76CYNMZA4A3PWQRAZA5CNFSM4HDLNAPKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODV4P2TY#issuecomment-494468431, or mute the thread https://github.com/notifications/unsubscribe-auth/ALNKOMUUZBVTKODYOYMSP4TPWQRAZANCNFSM4HDLNAPA .
--
Andrea Carlini Chief Data Product Manager ·D
TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it
Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.
Buonasera,
è stata effettuata la pubblicazione del file, nel formato approvato per email, con relativa legenda sia sul portale alla pagina https://www.anpr.interno.it/portale/tabelle-di-riferimento, che sul repository github al link https://github.com/italia/anpr/tree/master/src/archivi.
N. Capozzi
Buongiorno @ncapozzi , segnalo due piccole differenze con l'elenco pubblicato qui da ISTAT:
Non so se sia tutto noto e posso valutare se ce sia un errore, ma segnalo la difformità.
Saluti
Buongiorno, si tratta delle fusione dei due comuni 075001 e 075062 per la costituzione del nuovo 075098 a partire dal 15/05/2019. Completato l'aggiornamento sui nostri sistemi aggiorneremo anche il file pubblicato. Grazie comunque della segnalazione. N. Capozzi
Grazie mille a tutti per questo scambio utile a comprendere anche i processi di gestione del dato. Una domanda @ncapozzi: rispetto a quando modifica il dato ISTAT quanto passa affinché il cambiamento si rifletta anche nel vostro sistema e quindi nel file CSV che pubblicate? /cc @mccalv
Buongiorno, per effettuare variazioni su archivio comuni dobbiamo attendere la comunicazione di Agenzia Entrate. Di solito occorrono 10, massimo 15 giorni dalla istituzione del comune affinché l'aggiornamento diventi effettivo. Sono stati pubblicati i file aggiornati per la istituzione del comune di PRESICCE-ACQUARICA. N. Capozzi
Buonasera, se non ci sono pareri contrari tra domani e lunedì procederemo alla definitiva sostituzione del file archivio storico dei comuni in formato xls con il file in formato csv sul portale ANPR.
N. Capozzi
Grazie Procedete pure
Il giorno gio 20 giu 2019 alle 16:07 ncapozzi notifications@github.com ha scritto:
Buonasera, se non ci sono pareri contrari tra domani e lunedì procederemo alla definitiva sostituzione del file archivio storico dei comuni in formato xls con il file in formato csv sul portale ANPR.
N. Capozzi
— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252?email_source=notifications&email_token=ALNKOMSNA6NKCG2YHQGQPY3P3OFKBA5CNFSM4HDLNAPKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODYFQTBA#issuecomment-504039812, or mute the thread https://github.com/notifications/unsubscribe-auth/ALNKOMUD5NKHK4RBAOLLJI3P3OFKBANCNFSM4HDLNAPA .
--
Andrea Carlini Chief Data Product Manager ·D
TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it
Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.
Buongiorno, il file archivio storico dei comuni in formato xls è stato definitivamente sostituito con il file in formato csv sul portale ANPR.
N. Capozzi
Buongiorno @ncapozzi , grazie del messaggio e del lavoro svolto. Sul portale di ANPR vediamo ora pubblicato il dataset in formato CSV ma non ci sembra sia stato abbinato un permalink. La risorsa è oggi disponibile al seguente link: https://www.anpr.interno.it/portale/documents/20182/241820/ANPR_archivio_comuni.csv/b3441988-c5a9-46b8-9dea-49655583326f
Un esempio di permalink (che quindi rimane tale nel tempo) potrebbe essere: https://www.anpr.interno.it/portale/documents/ANPR_archivio_comuni.csv o https://www.anpr.interno.it/ANPR_archivio_comuni.csv
Vi chiediamo quindi gentilmente di riaprire l'issue. Grazie. A disposizione.
Maria Claudia Bodino - Team per la Trasformazione Digitale Presidenza del Consiglio dei Ministri
Buonasera, anche il link attualmente utilizzato resterebbe tale nel tempo. Comunque abbiamo chiesto se è possibile avere il formato da voi richiesto. N. Capozzi
ok, grazie mile a voi. Buona serata.
Maria Claudia Bodino - Team per la Trasformazione Digitale Presidenza del Consiglio dei Ministri
Buonasera, scusate l'attesa. Premesso che il link attualmente utilizzato resterebbe tale nel tempo, mi confermano che possiamo modificare il formato in https://www.anpr.interno.it/portale/anpr-archivio-comuni.
Attendiamo una vostra conferma per procedere con la modifica.
N. Capozzi
Buongiorno,
grazie del messaggio, suggerisco di aggiungere l’estensione del file “.csv” in coda per non limitare l’utilizzo della url generica in futuro.
Grazie
Maria Claudia Bodino
Team per la Trasformazione digitale
On 19 Jul 2019, at 16:48, ncapozzi notifications@github.com wrote:
Buonasera, scusate l'attesa. Premesso che il link attualmente utilizzato resterebbe tale nel tempo, mi confermano che possiamo modificare il formato in https://www.anpr.interno.it/portale/anpr-archivio-comuni https://www.anpr.interno.it/portale/anpr-archivio-comuni.
Attendiamo una vostra conferma per procedere con la modifica.
N. Capozzi
— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252?email_source=notifications&email_token=AANHED2HNOYP2F7VGS2QCODQAHH2NA5CNFSM4HDLNAPKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD2L3EYA#issuecomment-513258080, or mute the thread https://github.com/notifications/unsubscribe-auth/AANHED4DEWYJQYJW3OOBHTLQAHH2NANCNFSM4HDLNAPA.
Buongiorno,
il link è stato modificato come richiesto.
N. Capozzi
Buongiorno @ncapozzi è cambiato il permalink?
Se sì, per il futuro, sarebbe importante darne comunicazione con un po' di anticipo. È un dataset di riferimento.
Grazie
Buongiorno, stiamo verificando. Grazie per la segnalazione. N. Capozzi
Come indicato nell'avviso #2609, la scorsa settimana è entrato in produzione il nuovo sito di ANPR ed è stato necessario modificare il permalink che ora è https://www.anpr.interno.it/wp-content/uploads/ANPR_archivio_comuni.csv
Ci scusiamo per non avere dato opportuno preavviso.
N. Capozzi
@ncapozzi crazie per il riscontro e buona giornata
@ncapozzi ho guardato il file, e ho aperto una issue nuova correlata https://github.com/italia/anpr/issues/2617
Grazie
Buongiorno,
sul portale di ANPR viene quotidianamente pubblicato un documento in formato excel contenente l'Archivio storico dei comuni. Purtroppo non viene utilizzato una permanent URL e quindi L'URL ogni giorno viene cambiata impedendo un'interoperabilità machine to machine. Si richiede l'implementazione di una permament url sulla risorsa indicata.
Grazie
Maria Claudia Bodino (Team Digitale) e Giorgia Lodi (AgID) @giorgialodi