search

spaghetti-open-data / twitAntonio

TweetYourMep fork for the Italian 2013 Elections
http://www.twitantonio.it
GNU Affero General Public License v3.0
16 stars 10 forks source link

Dataset 01/02/2013 #72

Closed nelsonmau closed 11 years ago

nelsonmau commented 11 years ago

Ciao @paolomainardi qui hai il nuovo dataset in csv

https://docs.google.com/spreadsheet/pub?key=0Ajp5_Nr0sKLIdFhicElNblhPVkxROGpDbUlJYVRTRmc&output=csv

Aggiorno inoltre anche index.ejs con il numero di candidati "lordi" verificati, quindi dovresti ripubblicare la pag in simultanea rispetto a quando aggiorni il database

a dopo

paolomainardi commented 11 years ago

Nelson, ho aggiornato il dataset in produzione, puoi fare una verifica ?

nelsonmau commented 11 years ago

@paolomainardi non credo si sia aggiornato. Io ho aggiunto 200 nomi ma il mep.legth è rimasto di 802 sono assolutamente certo invece che sia presente almeno un 100 di nuovi candidati nel nuovo dataset qui ti metto di nuovo il link al csv

https://docs.google.com/spreadsheet/pub?key=0Ajp5_Nr0sKLIdFhicElNblhPVkxROGpDbUlJYVRTRmc&output=csv

nelsonmau commented 11 years ago

@paolomainardi mi succede una cosa strana.

In pratica se cerco 'Mario Monti' nel form, l'autocomplete me lo suggerisce. Poi però cliccando 'cerca' non mi stampa il box di monti.

Possibile che il form veda il dataset giusto e invece nel div main compaia quello sbagliato?

marcopagliarulo commented 11 years ago

@nelsonmau @paolomainardi ho dedicato 10 minuti al problema prima di andare via, in pratica dai miei test risulta che il problema è nella determinazione dell'utente esistente oppure no, in molti casi il "remote_mep.mep_userId" a riga 111 dell'importer è vuoto, ci sono anche nella base dati degli utenti con mep_userId vuoto, quindi quando si cerca per questo parametro trova sempre qualcuno e quindi sovrascrive il record invece di crearne uno nuovo. Il fatto che Mario Monti sia visibile nell'autocomplete è perchè questo è restituito da un file json a partire dal csv esportato da google e non da mongo, quind "Mario Monti" è nel csv, viene inserito nel file autocomplete.json e viene passato allo script di importazione ma avendo mep_userId vuoto sovrascrive un record già esistente ed a sua volta viene sovrascritto dai successivi con mep_userId vuoto.

Ho anche notato che nel file di importazione quando viene richiesto il json allo script php che converte il csv in json viene restituito un set dati limitato, come se la risposta venisse troncata dalla funzione request, se lo stesso script viene eseguito da browser il set restituito è intero.

Non conosco abbastanza bene lo script di importazione per effettuare le modifiche rapidamente, e non vorrei ritardare il task assegnatomi ora che ho preso familiarità con nodejs e mongodb, ma spero che almeno le mie indicazioni possano servire a risolvere il problema.

p.s. Forse sarebbe il caso di far generare il json di autocompletamento ad uno script nodejs che estragga quelli realmente presenti ad db.

paolomainardi commented 11 years ago

Wait, quando ricarichiamo ora non facciamo nessun update, ma viene generata una nuova collezione, lo script di import (derivato da tymep) al momento non supporta nessuna funziona di update.

nelsonmau commented 11 years ago

@stefanoduri ha dato una bella ripulita, ora forse dovrebbero esserci meno problemi. Maggari più tardi proviamo a ricarixarlo

Wait, quando ricarichiamo ora non facciamo nessun update, ma viene generata una nuova collezione, lo script di import (derivato da tymep) al momento non supporta nessuna funziona di update.

— Reply to this email directly or view it on GitHubhttps://github.com/spaghetti-open-data/twitAntonio/issues/72#issuecomment-13009339.

marcopagliarulo commented 11 years ago

Scusa @paolomainardi il file di import non è import-meps.js? Ho sbagliato a scivere il numero di riga ma nella funzione saveUpdate richiamata fa proprio quello.

marcopagliarulo commented 11 years ago

Scusa in auto avevo letto in fretta, ok viene creata una nuova collection.

nelsonmau commented 11 years ago

@paolomainardi stasera riusciamo a dare un'occhiata insieme? ho altri 100 mep da mettere dentro

paolomainardi commented 11 years ago

@nelsonmau Dammi pure il link del nuovo CSV, l'importer dovrebbe essere ok adesso. (thanks to @Morpheus80ta)

nelsonmau commented 11 years ago

@paolomainardi prova con questo https://docs.google.com/spreadsheet/pub?key=0Ajp5_Nr0sKLIdFhicElNblhPVkxROGpDbUlJYVRTRmc&output=csv

ma se riesco stasera te ne do un altro

nelsonmau commented 11 years ago

ora sì che va! ;)

paolomainardi commented 11 years ago

Siamo in produzione: http://www.twitantonio.it

Abbiamo il sorting di @gaspa e le extra info di twitter di @Morpheus80ta, grandissimi!

nelsonmau commented 11 years ago

grandissimi, grandissimi, grandissimi! Italiani! :D