spaghetti-open-data / twitAntonio

TweetYourMep fork for the Italian 2013 Elections
http://www.twitantonio.it
GNU Affero General Public License v3.0
16 stars 10 forks source link

Risoluzione dei problemi di import delle extra info #79

Closed marcopagliarulo closed 11 years ago

marcopagliarulo commented 11 years ago

Ho identificato il problema per cui Silvio e altri hanno zero tweet e zero follower ed il motivo dello script che rimane appeso e non finalizzato, fixati entrambi

paolomainardi commented 11 years ago

Grazie @Morpheus80ta, ottimo lavoro!

paolomainardi commented 11 years ago

Secondo me sarebbe utile tirarci già anche il "twitter_uid" dell'utente, @Morpheus80ta che ne dici ?

paolomainardi commented 11 years ago

@Morpheus80ta ci sono dei problemi con le extra-info, guarda questo output:

root@gilda /var/www/twinbit/twitantonio # node import/import-extra-info.js 
opening connection with twitAntonio@localhost
group: 100
remains: 1085
group: 100
remains: 985
group: 100
remains: 885
group: 100
remains: 785
group: 100
remains: 685
group: 100
remains: 585
group: 100
remains: 485
group: 100
remains: 385
group: 100
remains: 285
group: 100
remains: 185
group: 100
remains: 85
group: 85
remains: 0
{ [Error: HTTP Error 401: Unauthorized]
  statusCode: 401,
  data: '{"errors":[{"message":"Could not authenticate you","code":32}]}' }
Imported: 1085 extra info.

Non vorrei che anche qui siamo over limits, perchè molti candidati adesso sono a 0-0, esempio:

Screen Shot 2013-02-04 at 16 05 59

nelsonmau commented 11 years ago

assolutamente sì: Giuseppe Civati non può essere 0-0 c'è un probl da qualche parte.

paolomainardi commented 11 years ago

L'ho eseguito nuovamente ora, ed ha funzionato. Presuppongo anche qui dei problemi di limits.

paolomainardi commented 11 years ago

Invece che ogni mezz'ora adesso lo faccio eseguire ogni ora. Vediamo se il problema si mitiga.

paolomainardi commented 11 years ago

Purtroppo ancora ci sono dei problem, esempioi: http://www.twitantonio.it/?mep_name=Pier+Luigi+Bersani&mep_country=&mep_localParty=&faction=&parlamento=&sorting=tweets

Dal server ho sempre questo errore:

root@gilda /var/www/twinbit/twitantonio/import # node import-extra-info.js 
opening connection with twitAntonio@localhost
group: 100
remains: 1090
group: 100
remains: 990
group: 100
remains: 890
group: 100
remains: 790
group: 100
remains: 690
group: 100
remains: 590
group: 100
remains: 490
group: 100
remains: 390
group: 100
remains: 290
group: 100
remains: 190
group: 100
remains: 90
group: 90
remains: 0
{ [Error: HTTP Error 401: Unauthorized]
  statusCode: 401,
  data: '{"errors":[{"message":"Could not authenticate you","code":32}]}' }
Imported: 1088 extra info.
marcopagliarulo commented 11 years ago

Mi giri il dump dei candidati? Stasera lo guardo