search

italia / anpr

Issue tracker e documentazione di ANPR - Anagrafe Nazionale della Popolazione Residente
Creative Commons Attribution 4.0 International
180 stars 49 forks source link

Archivio storico comuni ANPR utilizzo permalink #1252

Closed mariaclaudia closed 5 years ago

mariaclaudia commented 5 years ago

Buongiorno,

sul portale di ANPR viene quotidianamente pubblicato un documento in formato excel contenente l'Archivio storico dei comuni. Purtroppo non viene utilizzato una permanent URL e quindi L'URL ogni giorno viene cambiata impedendo un'interoperabilità machine to machine. Si richiede l'implementazione di una permament url sulla risorsa indicata.

Grazie

Maria Claudia Bodino (Team Digitale) e Giorgia Lodi (AgID) @giorgialodi

ncapozzi commented 5 years ago

Buongiorno, per non cambiare la url si dovrebbe ogni volta aggiornare lo stesso documento. Ci sembra però che mantenere lo stesso nome del file potrebbe facilmente generare per tutti confusione tra le diverse versioni. N. Capozzi

aborruso commented 5 years ago

@ncapozzi potreste chiamare l'ultima versione con un nome fisso nel tempo "..._latest.xls" e ogni volta rinominare quello che era latest sino a un istante prima, con la data del giorno dell'inserimento del nuovo latest "..._20190408.xls"

giorgialodi commented 5 years ago

Gentile @ncapozzi , per esempio ISTAT lo fa https://www.istat.it/it/archivio/6789. Il punto è che ogni dataset pubblicato, se non ha dati personali al suo interno come in questo caso, dovrebbe essere aperto (secondo la normativa italiana) e pubblicato secondo le raccomandazioni incluse nelle linee guida per la valorizzazione del patrimonio informativo pubblico. Per esempio dovrebbero esserci metadati di corredo conformi al profilo nazionale DCAT-AP_IT dove per esempio la data di ultima modifica è obbligatorio specificarla. Il DAF potrebbe essere strumento utile da usare per rispettare queste raccomandazioni ma anche per il DAF avere un unico punto di accesso al vostro dato è cruciale. Questo vostro dataset è molto importante, ha anche elementi suoi che possono tornare utili, tipo "denominazione translitterata". Il suo riutilizzo quindi può essere molto ampio. Per incentivarlo è necessario prendersi cura del dataset: da come viene pubblicato fino ai suoi contenuti (per esempio: si usano i codici delle province in formato numerico mentre ISTAT usa il formato alfanumerico a tre cifre, scrivete tutti i nomi in maiuscolo ma in diverse altre basi di dati sono con la prima lettera maiuscola e poi tutto minuscolo). Piccole cose ma che portano coloro che riutilizzano il dataset a workaround continui che, con poche accortezze alla fonte, sarebbero sicuramente superabili. My2cents /cc @mariaclaudia @mccalv

mariaclaudia commented 5 years ago

Buongiorno @ncapozzi , volevo chiederLe se ci sono aggiornamenti in merito all'implementazione di permalink anche in base ai suggerimenti proposti da @giorgialodi e @aborruso e alla pubblicazione open data del dataset in oggetto https://github.com/italia/anpr/issues/1253 Grazie per l'attenzione.

axcarlin commented 5 years ago

Buongiorno @ncapozzi , in qualità di responsabile della Piattaforma Digitale Nazionale Dati ( PDND , aka DAF ) chiedo di attuare al più presto l'implementazione delle modifiche come da suggerimenti proposti in precedenza, soprattutto per facilitare il riutilizzo dei dati pubblicati ed una corretta elaborazione e ridistribuzione attraverso la PDND. Cordiali Saluti

ncapozzi commented 5 years ago

Buonasera, per il momento abbiamo reso fisso il nome del file con relativa URL. Se tutti approvano il formato CSV procederemo anche con questa trasformazione. Proponiamo anche di salvare l’archivio su un percorso del repository github, in questo modo la storia delle modifiche verrebbe data dal log dei commit. Ricordiamo anche che per le case software è possibile richiedere i dati dell'archivio comuni utilizzando il WS 7001.

N. Capozzi

aborruso commented 5 years ago

Buonasera dott. @ncapozzi l'URL fisso è quello visibile in home, ovvero https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx ?

Grazie

ncapozzi commented 5 years ago

Si

aborruso commented 5 years ago

Buongiorno, da utente confermo quanto detto da @giorgialodi. Ogni volta che si devono incrociare i dati, avere il codice provinciale diverso da quello di ISTAT è un problema; andrebbe normalizzato a 3 caratteri.

Inoltre non vedo (magari è in una sezione interna, ma nel caso lo renderei più visibile) un file che descriva la tabella (ad esempio cosa significa avere date nell'anno 9999 e non controdedurlo, il significato di A e C in STATO, il significato di AE e I in FONTE, ecc.). Il link a questo file (un classico tracciato record, con il vocabolario dei valori) lo metterei accanto al file XLS (e CSV nel futuro) in modo da dargli la giusta evidenza.

Grazie

giorgialodi commented 5 years ago

Gentile @ncapozzi innanzitutto grazie per gli interventi fatti che ci aiuteranno sicuramente nella PDND a valorizzare il dato da voi reso disponibile :) Per quanto riguarda l'approvazione sul formato CSV, potrebbe aiutare questo riferimento: l'inventore del Web, Tim Bernes Lee, ha coniato, ormai diversi anni fa, il modello 5 star data model, per la rappresentazione dei dati aperti sul web. Il CSV sarebbe il livello 3, come si vede dal riferimento (i.e., dato tabellare in un formato aperto, con licenza aperta). Come Italia, con le llinee guida nazionali per la valorizzazione del patrimonio informativo pubblico abbiamo recepito il modello già dal 2013 e indicato il CSV come uno dei formati aperti per il livello 3. I livelli superiori 4 e 5 sono quelli dove si usano i veri e propri standard (del Web Semantico) e sono quelli su cui stiamo lavorando con @mariaclaudia nella PDND/DAF proprio per questi dati dell'archivio storico dei comuni, utilizzando l'ontologia dei luoghi/indirizzi sviluppata in collaborazione con ISTAT e Agenzia delle Entrate. Spero questo possa aiutare per la decisione finale.

aborruso commented 5 years ago

Gentile @ncapozzi ne approfitto per fare due segnalazioni per il file dei comuni [1]:

Saluti

[1] https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx

aborruso commented 5 years ago

Gentile dott. @ncapozzi

Al comune di Zuclo, non più attivo, è assegnato il codice di provincia ];

su questo rettifico, quel carattere devo averlo inserito io. Quindi tutto ok.

Saluti

ncapozzi commented 5 years ago

Buonasera, il codice numerico IDPROVINCIA riportato nel file è quello interno di ANPR e non è detto che coincida con quello ISTAT che noi non riportiamo. N. Capozzi

aborruso commented 5 years ago

Buonasera dott. @ncapozzi e grazie.

In un messaggio precedente ho scritto:

Inoltre non vedo (magari è in una sezione interna, ma nel caso lo renderei più visibile) un file che descriva la tabella (ad esempio cosa significa avere date nell'anno 9999 e non controdedurlo, il significato di A e C in STATO, il significato di AE e I in FONTE, ecc.). Il link a questo file (un classico tracciato record, con il vocabolario dei valori) lo metterei accanto al file XLS (e CSV nel futuro) in modo da dargli la giusta evidenza.

Questo dell'ID della provincia è un altro esempio, per cui è a mio avviso necessario - per un file così importante - l'associazione con un file di testo che lo descriva.

Saluti

mccalv commented 5 years ago

@ncapozzi sarebbe possibile per completezza aggiungere anche l'ID Provincia ISTAT - ritengo il consolidamento di questo dataset molto importante

ncapozzi commented 5 years ago

Potremmo pubblicare il file con l'aggiunta della colonna ID Provincia ISTAT già da domani ma forse è meglio dare qualche giorno di preavviso in modo che tutti possano adeguarsi. Va bene? N. Capozzi

mccalv commented 5 years ago

grazie @ncapozzi, direi che possiamo in coerenza con il change management pubblicare subito anche la nuova versione lasciando un tempo in cui la precedente è ancora valida ma deprecata per poi abbandonarla

giorgialodi commented 5 years ago

Per noi sarebbe molto utile. Come sarebbe comunque utile quello richiesto da @aborruso che speriamo anche di attuare meglio quando avremo pronto il dataset prodotto con standard del web semantico, con un'ontologia fatta con ISTAT e Agenzia Entrate , allineata a standard europei.

ncapozzi commented 5 years ago

Per mantenere entrambe le versioni per un certo tempo dobbiamo pubblicare due file con nome e link diverso, ma questo non sembra coerente con la richiesta di un nome fisso

mccalv commented 5 years ago

Grazie @ncapozzi, ritengo che questo sia un problema più generale sul quale dobbiamo lavorare (lascerei aperta questa evoluzione) per erogare queste tabelle in modalità programmatica e gestire il versioning. Per il momento possiamo avere comunque un doppio indirizzo per consentire ai colleghi di lavorare sulla nuova versione e contemporaneamente un annuncio che dismetta la precedente diciamo entro 30 giorni. Che ne dite?

ncapozzi commented 5 years ago

Il link fisso https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx di recente istituzione lo dovremmo associare alla nuova versione o alla vecchia? Inoltre temo che per inserire entrambe le versioni dobbiamo togliere qualche altro documento dalla home page del portale. Decidiamo noi?

ncapozzi commented 5 years ago

Come concordato per le vie brevi il link fisso https://www.anpr.interno.it/portale/documents/20182/50186/tabella+3+archivio+comuni.xlsx resta associato alla versione corrente. La nuova versione sarà pubblicata con nuovo nome e link in aggiunta alla vecchia solo nella pagina delle Tabelle di riferimento. Dopo 30 giorni la vecchia versione sarà eliminata.

axcarlin commented 5 years ago

Per le pubblicazioni, ogni versione del job di export attiva può generare un suo file con nome unico, anche se quella "master" farà riferimento all'ultima versione ufficiale, che verrà aggiornata solo quando la nuova versione del file verrà validato.

Ci sono degli aggiornamenti sulla richiesta di aggiornamento del file in formato csv ?

Cordiali Saluti

Il giorno lun 29 apr 2019 alle ore 17:35 ncapozzi notifications@github.com ha scritto:

Per mantenere entrambe le versioni per un certo tempo dobbiamo pubblicare due file con nome e link diverso, ma questo non sembra coerente con la richiesta di un nome fisso

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252#issuecomment-487629029, or mute the thread https://github.com/notifications/unsubscribe-auth/ALNKOMVDYS62424MVD6KZU3PS4ITVANCNFSM4HDLNAPA .

--

Andrea Carlini Chief Data Product Manager ·D

TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it

Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.

mariaclaudia commented 5 years ago

Buongiorno @ncapozzi, grazie per gli interventi fatti fino ad ora.

Le scrivo per chiederLe se ci sono aggiornamenti su:

Grazie per l'attenzione Cordiali saluti

ncapozzi commented 5 years ago

Buonasera, siamo in attesa di conferme dal team digitale.

N. Capozzi

axcarlin commented 5 years ago

Buonasera ,

Mi può indicare quali conferme si aspetta da noi ? Le richieste di Maria Claudia ( Team Trasformazione Digitale ) e Giorgia Lodi ( AgiD ) sono in linea con i requisiti concordati all'interno del team per la corretta ingestion nella Piattaforma Nazionale del dataset in oggetto.

Cordiali Saluti.

--

Andrea Carlini Chief Data Product Manager ·D

TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it

Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.

Il giorno mar 21 mag 2019 alle ore 18:42 ncapozzi notifications@github.com ha scritto:

Buonasera, siamo in attesa di conferme dal team digitale.

N. Capozzi

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252?email_source=notifications&email_token=ALNKOMUCSJNM76CYNMZA4A3PWQRAZA5CNFSM4HDLNAPKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODV4P2TY#issuecomment-494468431, or mute the thread https://github.com/notifications/unsubscribe-auth/ALNKOMUUZBVTKODYOYMSP4TPWQRAZANCNFSM4HDLNAPA .

--

Andrea Carlini Chief Data Product Manager ·D

TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it

Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.

ncapozzi commented 5 years ago

Buonasera,

è stata effettuata la pubblicazione del file, nel formato approvato per email, con relativa legenda sia sul portale alla pagina https://www.anpr.interno.it/portale/tabelle-di-riferimento, che sul repository github al link https://github.com/italia/anpr/tree/master/src/archivi.

N. Capozzi

aborruso commented 5 years ago

Buongiorno @ncapozzi , segnalo due piccole differenze con l'elenco pubblicato qui da ISTAT:

Non so se sia tutto noto e posso valutare se ce sia un errore, ma segnalo la difformità.

Saluti

ncapozzi commented 5 years ago

Buongiorno, si tratta delle fusione dei due comuni 075001 e 075062 per la costituzione del nuovo 075098 a partire dal 15/05/2019. Completato l'aggiornamento sui nostri sistemi aggiorneremo anche il file pubblicato. Grazie comunque della segnalazione. N. Capozzi

giorgialodi commented 5 years ago

Grazie mille a tutti per questo scambio utile a comprendere anche i processi di gestione del dato. Una domanda @ncapozzi: rispetto a quando modifica il dato ISTAT quanto passa affinché il cambiamento si rifletta anche nel vostro sistema e quindi nel file CSV che pubblicate? /cc @mccalv

ncapozzi commented 5 years ago

Buongiorno, per effettuare variazioni su archivio comuni dobbiamo attendere la comunicazione di Agenzia Entrate. Di solito occorrono 10, massimo 15 giorni dalla istituzione del comune affinché l'aggiornamento diventi effettivo. Sono stati pubblicati i file aggiornati per la istituzione del comune di PRESICCE-ACQUARICA. N. Capozzi

ncapozzi commented 5 years ago

Buonasera, se non ci sono pareri contrari tra domani e lunedì procederemo alla definitiva sostituzione del file archivio storico dei comuni in formato xls con il file in formato csv sul portale ANPR.

N. Capozzi

axcarlin commented 5 years ago

Grazie Procedete pure

Il giorno gio 20 giu 2019 alle 16:07 ncapozzi notifications@github.com ha scritto:

Buonasera, se non ci sono pareri contrari tra domani e lunedì procederemo alla definitiva sostituzione del file archivio storico dei comuni in formato xls con il file in formato csv sul portale ANPR.

N. Capozzi

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252?email_source=notifications&email_token=ALNKOMSNA6NKCG2YHQGQPY3P3OFKBA5CNFSM4HDLNAPKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODYFQTBA#issuecomment-504039812, or mute the thread https://github.com/notifications/unsubscribe-auth/ALNKOMUD5NKHK4RBAOLLJI3P3OFKBANCNFSM4HDLNAPA .

--

Andrea Carlini Chief Data Product Manager ·D

TEAM PER LATRASFORMAZIONEDIGITALE Presidenza del Consiglio dei Ministri teamdigitale.governo.it

Il Team per la Trasformazione Digitale, salvo eccezioni, comunica con le altre Amministrazioni via posta elettronica ordinaria e non posta elettronica certificata, in conformità a quanto previsto dall’art.47 del Codice dell’Amministrazione Digitale.

ncapozzi commented 5 years ago

Buongiorno, il file archivio storico dei comuni in formato xls è stato definitivamente sostituito con il file in formato csv sul portale ANPR.

N. Capozzi

mariaclaudia commented 5 years ago

Buongiorno @ncapozzi , grazie del messaggio e del lavoro svolto. Sul portale di ANPR vediamo ora pubblicato il dataset in formato CSV ma non ci sembra sia stato abbinato un permalink. La risorsa è oggi disponibile al seguente link: https://www.anpr.interno.it/portale/documents/20182/241820/ANPR_archivio_comuni.csv/b3441988-c5a9-46b8-9dea-49655583326f

Un esempio di permalink (che quindi rimane tale nel tempo) potrebbe essere: https://www.anpr.interno.it/portale/documents/ANPR_archivio_comuni.csv o https://www.anpr.interno.it/ANPR_archivio_comuni.csv

Vi chiediamo quindi gentilmente di riaprire l'issue. Grazie. A disposizione.

Maria Claudia Bodino - Team per la Trasformazione Digitale Presidenza del Consiglio dei Ministri

ncapozzi commented 5 years ago

Buonasera, anche il link attualmente utilizzato resterebbe tale nel tempo. Comunque abbiamo chiesto se è possibile avere il formato da voi richiesto. N. Capozzi

mariaclaudia commented 5 years ago

ok, grazie mile a voi. Buona serata.

Maria Claudia Bodino - Team per la Trasformazione Digitale Presidenza del Consiglio dei Ministri

ncapozzi commented 5 years ago

Buonasera, scusate l'attesa. Premesso che il link attualmente utilizzato resterebbe tale nel tempo, mi confermano che possiamo modificare il formato in https://www.anpr.interno.it/portale/anpr-archivio-comuni.

Attendiamo una vostra conferma per procedere con la modifica.

N. Capozzi

mariaclaudia commented 5 years ago

Buongiorno,

grazie del messaggio, suggerisco di aggiungere l’estensione del file “.csv” in coda per non limitare l’utilizzo della url generica in futuro.

Grazie

Maria Claudia Bodino

Team per la Trasformazione digitale

On 19 Jul 2019, at 16:48, ncapozzi notifications@github.com wrote:

Buonasera, scusate l'attesa. Premesso che il link attualmente utilizzato resterebbe tale nel tempo, mi confermano che possiamo modificare il formato in https://www.anpr.interno.it/portale/anpr-archivio-comuni https://www.anpr.interno.it/portale/anpr-archivio-comuni.

Attendiamo una vostra conferma per procedere con la modifica.

N. Capozzi

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/italia/anpr/issues/1252?email_source=notifications&email_token=AANHED2HNOYP2F7VGS2QCODQAHH2NA5CNFSM4HDLNAPKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD2L3EYA#issuecomment-513258080, or mute the thread https://github.com/notifications/unsubscribe-auth/AANHED4DEWYJQYJW3OOBHTLQAHH2NANCNFSM4HDLNAPA.

ncapozzi commented 5 years ago

Buongiorno,

il link è stato modificato come richiesto.

N. Capozzi

aborruso commented 3 years ago

Buongiorno @ncapozzi è cambiato il permalink?

Se sì, per il futuro, sarebbe importante darne comunicazione con un po' di anticipo. È un dataset di riferimento.

Grazie

ncapozzi commented 3 years ago

Buongiorno, stiamo verificando. Grazie per la segnalazione. N. Capozzi

ncapozzi commented 3 years ago

Come indicato nell'avviso #2609, la scorsa settimana è entrato in produzione il nuovo sito di ANPR ed è stato necessario modificare il permalink che ora è https://www.anpr.interno.it/wp-content/uploads/ANPR_archivio_comuni.csv

Ci scusiamo per non avere dato opportuno preavviso.

N. Capozzi

aborruso commented 3 years ago

@ncapozzi crazie per il riscontro e buona giornata

aborruso commented 3 years ago

@ncapozzi ho guardato il file, e ho aperto una issue nuova correlata https://github.com/italia/anpr/issues/2617

Grazie