search

ondata / elezioni_2020

Creative Commons Attribution 4.0 International
6 stars 0 forks source link

Scaricare dati marche #2

Closed aborruso closed 3 years ago

aborruso commented 3 years ago

@gjrichter ha trovato i dati delle Marche (un esempio http://dati.elezioni.marche.it/static_json/liste_0_1.json) e li vorrebbe uniformare a quelli regionali di questo repo (in particolare ai file Scrutini_candidati.csv, scrutini_liste.csv.

@gjrichter hai l'elenco di tutti i dataset?

Se sì, li metti come risposta sotto?

gjrichter commented 3 years ago

@aborruso Quello che ho trovato è che i dataset per i 228 comuni delle marche sono numerati da ...0_1.json a ...0_228.json. la lista resp. l'ordine dei comuni non ho trovato.

aborruso commented 3 years ago

Ok guenter, domani faccio un primo test

gjrichter commented 3 years ago

var filtriVal = new Array();filtriVal[1]={"desc":"ANCONA","enti":[{"value":"54","desc":"AGUGLIANO"},{"value":"55","desc":"ANCONA"},{"value":"56","desc":"ARCEVIA"},{"value":"57","desc":"BARBARA"},{"value":"58","desc":"BELVEDERE OSTRENSE"},{"value":"59","desc":"CAMERANO"},{"value":"60","desc":"CAMERATA PICENA"},{"value":"61","desc":"CASTELBELLINO"},{"value":"62","desc":"CASTELFIDARDO"},{"value":"63","desc":"CASTELLEONE DI SUASA"},{"value":"64","desc":"CASTELPLANIO"},{"value":"65","desc":"CERRETO D'ESI"},{"value":"66","desc":"CHIARAVALLE"},{"value":"67","desc":"CORINALDO"},{"value":"68","desc":"CUPRAMONTANA"},{"value":"69","desc":"FABRIANO"},{"value":"70","desc":"FALCONARA MARITTIMA"},{"value":"71","desc":"FILOTTRANO"},{"value":"72","desc":"GENGA"},{"value":"73","desc":"JESI"},{"value":"74","desc":"LORETO"},{"value":"75","desc":"MAIOLATI SPONTINI"},{"value":"76","desc":"MERGO"},{"value":"77","desc":"MONSANO"},{"value":"78","desc":"MONTECAROTTO"},{"value":"79","desc":"MONTEMARCIANO"},{"value":"80","desc":"MONTE ROBERTO"},{"value":"81","desc":"MONTE SAN VITO"},{"value":"82","desc":"MORRO D'ALBA"},{"value":"83","desc":"NUMANA"},{"value":"84","desc":"OFFAGNA"},{"value":"85","desc":"OSIMO"},{"value":"86","desc":"OSTRA"},{"value":"87","desc":"OSTRA VETERE"},{"value":"88","desc":"POGGIO SAN MARCELLO"},{"value":"89","desc":"POLVERIGI"},{"value":"90","desc":"ROSORA"},{"value":"91","desc":"SAN MARCELLO"},{"value":"92","desc":"SAN PAOLO DI JESI"},{"value":"93","desc":"SANTA MARIA NUOVA"},{"value":"94","desc":"SASSOFERRATO"},{"value":"95","desc":"SENIGALLIA"},{"value":"96","desc":"SERRA DE' CONTI"},{"value":"97","desc":"SERRA SAN QUIRICO"},{"value":"98","desc":"SIROLO"},{"value":"99","desc":"STAFFOLO"},{"value":"100","desc":"TRECASTELLI"}]};filtriVal[2]={"desc":"ASCOLI PICENO","enti":[{"value":"156","desc":"ACQUASANTA TERME"},{"value":"157","desc":"ACQUAVIVA PICENA"},{"value":"158","desc":"APPIGNANO DEL TRONTO"},{"value":"159","desc":"ARQUATA DEL TRONTO"},{"value":"160","desc":"ASCOLI PICENO"},{"value":"161","desc":"CARASSAI"},{"value":"162","desc":"CASTEL DI LAMA"},{"value":"163","desc":"CASTIGNANO"},{"value":"164","desc":"CASTORANO"},{"value":"165","desc":"COLLI DEL TRONTO"},{"value":"166","desc":"COMUNANZA"},{"value":"167","desc":"COSSIGNANO"},{"value":"168","desc":"CUPRA MARITTIMA"},{"value":"169","desc":"FOLIGNANO"},{"value":"170","desc":"FORCE"},{"value":"171","desc":"GROTTAMMARE"},{"value":"172","desc":"MALTIGNANO"},{"value":"173","desc":"MASSIGNANO"},{"value":"174","desc":"MONSAMPOLO DEL TRONTO"},{"value":"175","desc":"MONTALTO DELLE MARCHE"},{"value":"176","desc":"MONTEDINOVE"},{"value":"177","desc":"MONTEFIORE DELL'ASO"},{"value":"178","desc":"MONTEGALLO"},{"value":"179","desc":"MONTEMONACO"},{"value":"180","desc":"MONTEPRANDONE"},{"value":"181","desc":"OFFIDA"},{"value":"182","desc":"PALMIANO"},{"value":"183","desc":"RIPATRANSONE"},{"value":"184","desc":"ROCCAFLUVIONE"},{"value":"185","desc":"ROTELLA"},{"value":"186","desc":"SAN BENEDETTO DEL TRONTO"},{"value":"187","desc":"SPINETOLI"},{"value":"188","desc":"VENAROTTA"}]};filtriVal[3]={"desc":"FERMO","enti":[{"value":"189","desc":"ALTIDONA"},{"value":"190","desc":"AMANDOLA"},{"value":"191","desc":"BELMONTE PICENO"},{"value":"192","desc":"CAMPOFILONE"},{"value":"193","desc":"FALERONE"},{"value":"194","desc":"FERMO"},{"value":"195","desc":"FRANCAVILLA D'ETE"},{"value":"196","desc":"GROTTAZZOLINA"},{"value":"197","desc":"LAPEDONA"},{"value":"198","desc":"MAGLIANO DI TENNA"},{"value":"199","desc":"MASSA FERMANA"},{"value":"200","desc":"MONSAMPIETRO MORICO"},{"value":"201","desc":"MONTAPPONE"},{"value":"202","desc":"MONTEFALCONE APPENNINO"},{"value":"203","desc":"MONTEFORTINO"},{"value":"204","desc":"MONTE GIBERTO"},{"value":"205","desc":"MONTEGIORGIO"},{"value":"206","desc":"MONTEGRANARO"},{"value":"207","desc":"MONTELEONE DI FERMO"},{"value":"208","desc":"MONTELPARO"},{"value":"209","desc":"MONTE RINALDO"},{"value":"210","desc":"MONTERUBBIANO"},{"value":"211","desc":"MONTE SAN PIETRANGELI"},{"value":"212","desc":"MONTE URANO"},{"value":"213","desc":"MONTE VIDON COMBATTE"},{"value":"214","desc":"MONTE VIDON CORRADO"},{"value":"215","desc":"MONTOTTONE"},{"value":"216","desc":"MORESCO"},{"value":"217","desc":"ORTEZZANO"},{"value":"218","desc":"PEDASO"},{"value":"219","desc":"PETRITOLI"},{"value":"220","desc":"PONZANO DI FERMO"},{"value":"221","desc":"PORTO SAN GIORGIO"},{"value":"222","desc":"PORTO SANT'ELPIDIO"},{"value":"223","desc":"RAPAGNANO"},{"value":"224","desc":"SANTA VITTORIA IN MATENANO"},{"value":"225","desc":"SANT'ELPIDIO A MARE"},{"value":"226","desc":"SERVIGLIANO"},{"value":"227","desc":"SMERILLO"},{"value":"228","desc":"TORRE SAN PATRIZIO"}]};filtriVal[4]={"desc":"MACERATA","enti":[{"value":"101","desc":"APIRO"},{"value":"102","desc":"APPIGNANO"},{"value":"103","desc":"BELFORTE DEL CHIENTI"},{"value":"104","desc":"BOLOGNOLA"},{"value":"105","desc":"CALDAROLA"},{"value":"106","desc":"CAMERINO"},{"value":"107","desc":"CAMPOROTONDO DI FIASTRONE"},{"value":"108","desc":"CASTELRAIMONDO"},{"value":"109","desc":"CASTELSANTANGELO sul Nera"},{"value":"110","desc":"CESSAPALOMBO"},{"value":"111","desc":"CINGOLI"},{"value":"112","desc":"CIVITANOVA MARCHE"},{"value":"113","desc":"COLMURANO"},{"value":"114","desc":"CORRIDONIA"},{"value":"115","desc":"ESANATOGLIA"},{"value":"116","desc":"FIASTRA"},{"value":"117","desc":"FIUMINATA"},{"value":"118","desc":"GAGLIOLE"},{"value":"119","desc":"GUALDO"},{"value":"120","desc":"LORO PICENO"},{"value":"121","desc":"MACERATA"},{"value":"122","desc":"MATELICA"},{"value":"123","desc":"MOGLIANO"},{"value":"124","desc":"MONTECASSIANO"},{"value":"125","desc":"MONTE CAVALLO"},{"value":"126","desc":"MONTECOSARO"},{"value":"127","desc":"MONTEFANO"},{"value":"128","desc":"MONTELUPONE"},{"value":"129","desc":"MONTE SAN GIUSTO"},{"value":"130","desc":"MONTE SAN MARTINO"},{"value":"131","desc":"MORROVALLE"},{"value":"132","desc":"MUCCIA"},{"value":"133","desc":"PENNA SAN GIOVANNI"},{"value":"134","desc":"PETRIOLO"},{"value":"135","desc":"PIEVE TORINA"},{"value":"136","desc":"PIORACO"},{"value":"137","desc":"POGGIO SAN VICINO"},{"value":"138","desc":"POLLENZA"},{"value":"139","desc":"PORTO RECANATI"},{"value":"140","desc":"POTENZA PICENA"},{"value":"141","desc":"RECANATI"},{"value":"142","desc":"RIPE SAN GINESIO"},{"value":"143","desc":"SAN GINESIO"},{"value":"144","desc":"SAN SEVERINO MARCHE"},{"value":"145","desc":"SANT'ANGELO IN PONTANO"},{"value":"146","desc":"SARNANO"},{"value":"147","desc":"SEFRO"},{"value":"148","desc":"SERRAPETRONA"},{"value":"149","desc":"SERRAVALLE DI CHIENTI"},{"value":"150","desc":"TOLENTINO"},{"value":"151","desc":"TREIA"},{"value":"152","desc":"URBISAGLIA"},{"value":"153","desc":"USSITA"},{"value":"155","desc":"VALFORNACE"},{"value":"154","desc":"VISSO"}]};filtriVal[5]={"desc":"PESARO E URBINO","enti":[{"value":"1","desc":"ACQUALAGNA"},{"value":"2","desc":"APECCHIO"},{"value":"3","desc":"BELFORTE ALL'ISAURO"},{"value":"4","desc":"BORGO PACE"},{"value":"5","desc":"CAGLI"},{"value":"6","desc":"CANTIANO"},{"value":"7","desc":"CARPEGNA"},{"value":"8","desc":"CARTOCETO"},{"value":"51","desc":"COLLI AL METAURO"},{"value":"9","desc":"FANO"},{"value":"10","desc":"FERMIGNANO"},{"value":"11","desc":"FOSSOMBRONE"},{"value":"12","desc":"FRATTE ROSA"},{"value":"13","desc":"FRONTINO"},{"value":"14","desc":"FRONTONE"},{"value":"15","desc":"GABICCE MARE"},{"value":"16","desc":"GRADARA"},{"value":"17","desc":"ISOLA DEL PIANO"},{"value":"18","desc":"LUNANO"},{"value":"19","desc":"MACERATA FELTRIA"},{"value":"20","desc":"MERCATELLO SUL METAURO"},{"value":"21","desc":"MERCATINO CONCA"},{"value":"22","desc":"MOMBAROCCIO"},{"value":"23","desc":"MONDAVIO"},{"value":"24","desc":"MONDOLFO"},{"value":"25","desc":"MONTECALVO IN FOGLIA"},{"value":"26","desc":"MONTE CERIGNONE"},{"value":"28","desc":"MONTECOPIOLO"},{"value":"29","desc":"MONTEFELCINO"},{"value":"30","desc":"MONTE GRIMANO TERME"},{"value":"31","desc":"MONTELABBATE"},{"value":"32","desc":"MONTE PORZIO"},{"value":"33","desc":"PEGLIO"},{"value":"34","desc":"PERGOLA"},{"value":"35","desc":"PESARO"},{"value":"36","desc":"PETRIANO"},{"value":"37","desc":"PIANDIMELETO"},{"value":"38","desc":"PIETRARUBBIA"},{"value":"39","desc":"PIOBBICO"},{"value":"40","desc":"SAN COSTANZO"},{"value":"41","desc":"SAN LORENZO IN CAMPO"},{"value":"42","desc":"SANT'ANGELO IN VADO"},{"value":"43","desc":"SANT'IPPOLITO"},{"value":"53","desc":"SASSOCORVARO AUDITORE"},{"value":"44","desc":"SASSOFELTRIO"},{"value":"45","desc":"SERRA SANT'ABBONDIO"},{"value":"46","desc":"TAVOLETO"},{"value":"47","desc":"TAVULLIA"},{"value":"52","desc":"TERRE ROVERESCHE"},{"value":"48","desc":"URBANIA"},{"value":"49","desc":"URBINO"},{"value":"50","desc":"VALLEFOGLIA"}]}

gjrichter commented 3 years ago

trovato la lista dei comuni come enumerato da loro.

gjrichter commented 3 years ago

value,desc 1,ACQUALAGNA 2,APECCHIO 3,BELFORTE ALL'ISAURO 4,BORGO PACE 5,CAGLI 6,CANTIANO 7,CARPEGNA 8,CARTOCETO 9,FANO 10,FERMIGNANO 11,FOSSOMBRONE 12,FRATTE ROSA 13,FRONTINO 14,FRONTONE 15,GABICCE MARE 16,GRADARA 17,ISOLA DEL PIANO 18,LUNANO 19,MACERATA FELTRIA 20,MERCATELLO SUL METAURO 21,MERCATINO CONCA 22,MOMBAROCCIO 23,MONDAVIO 24,MONDOLFO 25,MONTECALVO IN FOGLIA 26,MONTE CERIGNONE 28,MONTECOPIOLO 29,MONTEFELCINO 30,MONTE GRIMANO TERME 31,MONTELABBATE 32,MONTE PORZIO 33,PEGLIO 34,PERGOLA 35,PESARO 36,PETRIANO 37,PIANDIMELETO 38,PIETRARUBBIA 39,PIOBBICO 40,SAN COSTANZO 41,SAN LORENZO IN CAMPO 42,SANT'ANGELO IN VADO 43,SANT'IPPOLITO 44,SASSOFELTRIO 45,SERRA SANT'ABBONDIO 46,TAVOLETO 47,TAVULLIA 48,URBANIA 49,URBINO 50,VALLEFOGLIA 51,COLLI AL METAURO 52,TERRE ROVERESCHE 53,SASSOCORVARO AUDITORE 54,AGUGLIANO 55,ANCONA 56,ARCEVIA 57,BARBARA 58,BELVEDERE OSTRENSE 59,CAMERANO 60,CAMERATA PICENA 61,CASTELBELLINO 62,CASTELFIDARDO 63,CASTELLEONE DI SUASA 64,CASTELPLANIO 65,CERRETO D'ESI 66,CHIARAVALLE 67,CORINALDO 68,CUPRAMONTANA 69,FABRIANO 70,FALCONARA MARITTIMA 71,FILOTTRANO 72,GENGA 73,JESI 74,LORETO 75,MAIOLATI SPONTINI 76,MERGO 77,MONSANO 78,MONTECAROTTO 79,MONTEMARCIANO 80,MONTE ROBERTO 81,MONTE SAN VITO 82,MORRO D'ALBA 83,NUMANA 84,OFFAGNA 85,OSIMO 86,OSTRA 87,OSTRA VETERE 88,POGGIO SAN MARCELLO 89,POLVERIGI 90,ROSORA 91,SAN MARCELLO 92,SAN PAOLO DI JESI 93,SANTA MARIA NUOVA 94,SASSOFERRATO 95,SENIGALLIA 96,SERRA DE' CONTI 97,SERRA SAN QUIRICO 98,SIROLO 99,STAFFOLO 100,TRECASTELLI 101,APIRO 102,APPIGNANO 103,BELFORTE DEL CHIENTI 104,BOLOGNOLA 105,CALDAROLA 106,CAMERINO 107,CAMPOROTONDO DI FIASTRONE 108,CASTELRAIMONDO 109,CASTELSANTANGELO sul Nera 110,CESSAPALOMBO 111,CINGOLI 112,CIVITANOVA MARCHE 113,COLMURANO 114,CORRIDONIA 115,ESANATOGLIA 116,FIASTRA 117,FIUMINATA 118,GAGLIOLE 119,GUALDO 120,LORO PICENO 121,MACERATA 122,MATELICA 123,MOGLIANO 124,MONTECASSIANO 125,MONTE CAVALLO 126,MONTECOSARO 127,MONTEFANO 128,MONTELUPONE 129,MONTE SAN GIUSTO 130,MONTE SAN MARTINO 131,MORROVALLE 132,MUCCIA 133,PENNA SAN GIOVANNI 134,PETRIOLO 135,PIEVE TORINA 136,PIORACO 137,POGGIO SAN VICINO 138,POLLENZA 139,PORTO RECANATI 140,POTENZA PICENA 141,RECANATI 142,RIPE SAN GINESIO 143,SAN GINESIO 144,SAN SEVERINO MARCHE 145,SANT'ANGELO IN PONTANO 146,SARNANO 147,SEFRO 148,SERRAPETRONA 149,SERRAVALLE DI CHIENTI 150,TOLENTINO 151,TREIA 152,URBISAGLIA 153,USSITA 154,VISSO 155,VALFORNACE 156,ACQUASANTA TERME 157,ACQUAVIVA PICENA 158,APPIGNANO DEL TRONTO 159,ARQUATA DEL TRONTO 160,ASCOLI PICENO 161,CARASSAI 162,CASTEL DI LAMA 163,CASTIGNANO 164,CASTORANO 165,COLLI DEL TRONTO 166,COMUNANZA 167,COSSIGNANO 168,CUPRA MARITTIMA 169,FOLIGNANO 170,FORCE 171,GROTTAMMARE 172,MALTIGNANO 173,MASSIGNANO 174,MONSAMPOLO DEL TRONTO 175,MONTALTO DELLE MARCHE 176,MONTEDINOVE 177,MONTEFIORE DELL'ASO 178,MONTEGALLO 179,MONTEMONACO 180,MONTEPRANDONE 181,OFFIDA 182,PALMIANO 183,RIPATRANSONE 184,ROCCAFLUVIONE 185,ROTELLA 186,SAN BENEDETTO DEL TRONTO 187,SPINETOLI 188,VENAROTTA 189,ALTIDONA 190,AMANDOLA 191,BELMONTE PICENO 192,CAMPOFILONE 193,FALERONE 194,FERMO 195,FRANCAVILLA D'ETE 196,GROTTAZZOLINA 197,LAPEDONA 198,MAGLIANO DI TENNA 199,MASSA FERMANA 200,MONSAMPIETRO MORICO 201,MONTAPPONE 202,MONTEFALCONE APPENNINO 203,MONTEFORTINO 204,MONTE GIBERTO 205,MONTEGIORGIO 206,MONTEGRANARO 207,MONTELEONE DI FERMO 208,MONTELPARO 209,MONTE RINALDO 210,MONTERUBBIANO 211,MONTE SAN PIETRANGELI 212,MONTE URANO 213,MONTE VIDON COMBATTE 214,MONTE VIDON CORRADO 215,MONTOTTONE 216,MORESCO 217,ORTEZZANO 218,PEDASO 219,PETRITOLI 220,PONZANO DI FERMO 221,PORTO SAN GIORGIO 222,PORTO SANT'ELPIDIO 223,RAPAGNANO 224,SANTA VITTORIA IN MATENANO 225,SANT'ELPIDIO A MARE 226,SERVIGLIANO 227,SMERILLO 228,TORRE SAN PATRIZIO

aborruso commented 3 years ago

Caro @gjrichter , a partire da un JSON che ho usato come esempio (quello del comune 1) ho fatto il flattening in CSV e ho estratto questi file https://github.com/ondata/elezioni_2020/tree/master/regionaliMarche/rawdata

Se per te vanno bene, li posso generare per tutti i comuni e poi unire.

Fammi sapere che ne pensi

gjrichter commented 3 years ago

wow - prende forma! per il risultato delle liste mi sembra giusto: liste_0_1-votiListe-arrVotiListe.csv per i candidati: liste_0_1-votiCandidati.csv vedo la prima colonna (n) e penso che dovrebbe sparire e si dovrebbe aggregare per 'id' = candidato che ne dici?

aborruso commented 3 years ago

Caro @gjrichter , votiCandidati, nel JSON è fatto come vedi in basso.

Quindi per l'oggetto 1, hai i 7 valori che ho riportato così:

n id voti voti_nona idComune
1 1 2 0 1
1 2 0 0 1
1 3 0 0 1
1 4 0 0 1
1 5 0 0 1
1 6 7 0 1
1 7 0 0 1

1 è il candidato? Cosa è?

Se mi fai un esempio di come aggregare, facendomi vedere il prima e il dopo, lo posso fare.

Oppure, potrei scaricare tutto così, e poi fare le aggregazioni.

Fammi sapere

esempio json

"votiCandidati": {
    "1": {
      "arrVotiCandidato": {
        "1": {
          "voti": 2,
          "voti_nona": 0
        },
        "2": {
          "voti": 0,
          "voti_nona": 0
        },
        "3": {
          "voti": 0,
          "voti_nona": 0
        },
        "4": {
          "voti": 0,
          "voti_nona": 0
        },
        "5": {
          "voti": 0,
          "voti_nona": 0
        },
        "6": {
          "voti": 7,
          "voti_nona": 0
        },
        "7": {
          "voti": 0,
          "voti_nona": 0
        }
      },
      "tot_sezio": 4,
      "idpartizione": 0,
      "nlista": 1,
      "nlistamacro": 11,
      "totVoti": 9,
      "totVoti_nona": 0,
      "totVotiLista": 19
    }
gjrichter commented 3 years ago

cerco di capire.

gjrichter commented 3 years ago

Secondo quello che posso dedurre: 'n' è la lista e 'id' il candidato, visto che ci sono 8 candidati (forse in questo comune solo 7?) e 18 liste.

aborruso commented 3 years ago

@gjrichter mi fai un esempio dell'output che vorresti qui?

gjrichter commented 3 years ago

C'è un secondo file .json: https://dati.elezioni.marche.it/static_json/raggrup_0_1.json?_=1602404619377

mi sembra molto vicino a quel output 'scrutini_candidati' che hai creato per la Puglia

Li hoi trovato i candidati e le liste

aborruso commented 3 years ago

Ciao @gjrichter ho unito tutti i dati per tutti i comuni qui https://github.com/ondata/elezioni_2020/tree/master/regionaliMarche/processing

Fammi sapere se va bene.