search

spaghetti-open-data / twitAntonio

TweetYourMep fork for the Italian 2013 Elections
http://www.twitantonio.it
GNU Affero General Public License v3.0
16 stars 10 forks source link

aggiunta filtri sui campi restituiti dalle ricerche (per i widget) #68

Closed seralf closed 11 years ago

seralf commented 11 years ago

Aggiunti i filtri per le ricerche: saranno utili per i vari widget. (piccole modifiche in model/mep.js e mainController)

In pratica per cercare un deputato di nome 'NOME' ed ottenere per ogni record soltanto i campi 'mep_lastName', 'mep_country':

http://localhost:3000/api/meps/?mep_name=NOME&filters=mep_lastName,mep_country

nelsonmau commented 11 years ago

@paolomainardi ma questa pull request non va di @seralf ?

paolomainardi commented 11 years ago

@seralf Purtroppo non possiamo più mergiarla in automatico perchè il codice è poi andato avanti, anche sul modello e sul controller.

Riuscirest a farne una nuova con solo le modifiche necessarie ?

seralf commented 11 years ago

ok, ho rifatto la micro-modifica, dovrebbe funzionare tutto :-)

Il giorno 11 febbraio 2013 19:55, Paolo Mainardi notifications@github.comha scritto:

@seralf https://github.com/seralf Purtroppo non possiamo più mergiarla in automatico perchè il codice è poi andato avanti, anche sul modello e sul controller.

Riuscirest a farne una nuova con solo le modifiche necessarie ?

— Reply to this email directly or view it on GitHubhttps://github.com/spaghetti-open-data/twitAntonio/pull/68#issuecomment-13396080.

nelsonmau commented 11 years ago

@seralf @paolomainardi

ma secondo voi la funzionalità di @marco-brandizi può essere implementata? è una figata...

seralf commented 11 years ago

si si diciamo che come dicevo già tempo fa quel tipo di cose vengono meglio in java (e scala! ;-), e ci aiuterebbe non poco usare cosette come solr (per named entity recognition), uima/weka/openlp... e gephi (che Dario e company avevano iniziato ad usare per fare cosette anche di network anlysis). Si possono fare molte cose divertenti, però ci serve 1) tempo e soprattutto: 2) un server dove farle girare :-)

2013/2/11 nelsonmau notifications@github.com

@seralf @paolomainardi

ma secondo voi la funzionalità di @marco-brandizi può essere implementata? è una figata...

— Reply to this email directly or view it on GitHubhttps://github.com/spaghetti-open-data/twitAntonio/pull/68#issuecomment-13397769.

seralf commented 11 years ago

in ogni caso una versione light è fattibile sui tweet importati già con nodejs ;-)

Il giorno 11 febbraio 2013 20:33, seralf seralf@gmail.com ha scritto:

si si diciamo che come dicevo già tempo fa quel tipo di cose vengono meglio in java (e scala! ;-), e ci aiuterebbe non poco usare cosette come solr (per named entity recognition), uima/weka/openlp... e gephi (che Dario e company avevano iniziato ad usare per fare cosette anche di network anlysis). Si possono fare molte cose divertenti, però ci serve 1) tempo e soprattutto: 2) un server dove farle girare :-)

2013/2/11 nelsonmau notifications@github.com

@seralf @paolomainardi

ma secondo voi la funzionalità di @marco-brandizi può essere implementata? è una figata...

— Reply to this email directly or view it on GitHubhttps://github.com/spaghetti-open-data/twitAntonio/pull/68#issuecomment-13397769.

marco-brandizi commented 11 years ago

e ci aiuterebbe non poco usare cosette come solr (per named entity recognition), uima/weka/openlp... e gephi (che Dario e company avevano iniziato ad usare per fare cosette anche di network anlysis).

Di queste cose conosco superficialmente solo solr e ho provato ad usarlo, ma non riesco a risolvere un problema. Altrove hanno suggerito che si può fare questo usando quello che Lucene chiama payload, ma finora non sono riuscito a farli funzionare dentro Solr.

Si possono fare molte cose divertenti, però ci serve 1) tempo e soprattutto: 2) un server dove farle girare :-)

1) neanche io ne ho molto purtroppo 2) è che il server che ho io è un po' limitato come banda, non so bene come possa reagire ad un traffico un po' voluminoso. L'applicazione in sé non è molto pesante, né per la banda né per la CPU. Tra l'altro consuma molto di più quando fa lo scraping e aggiorna il DB che non quando serve le ricerche. Ma si può migliorare anche quest'aspetto, passando da un aggiornamento completo e da zero ad uno incrementale. Proverò a lavorarci ancora.

seralf commented 11 years ago

vabbè per solr parliamone :-) per la faccenda del server non volevo suggerire di rubarti risorse, ma solo che per usare java etc bisogna ahimè fare deploy delle cose da qualche parte -per usarle collettivamente soprattutto dico. Io stesso mi sono messo ad usare nodej per quel pochissimo che ho contribuito al di là del divertimento personale per cercare di usare tecnologie condivise (Paolo ci ha gentilmente ospitato su un server che utilizza). Suggerivo che qualora riuscissimo ad ottenre ospitaità domani su un server che supporti java e simili potremmo mettere lì la tua applicazione e anche altre venute su ad esempio in fase di hackathon e un po' per ora morte lì (non sarebbe male invece svilupparle, tempi di tutti permettendo ;-)

per il tempo: propongo l'adozione ufficiale di giornate da 40 ore :-P

Il giorno 12 febbraio 2013 11:11, Marco Brandizi notifications@github.comha scritto:

e ci aiuterebbe non poco usare cosette come solr (per named entity recognition), uima/weka/openlp... e gephi (che Dario e company avevano iniziato ad usare per fare cosette anche di network anlysis).

Di queste cose conosco solo superficialmente solr e ho provato ad usarlo, ma non riesco a risolvere un problema ( http://stackoverflow.com/questions/14720175/solr-adding-a-record-via-json-with-a-multi-value-field-and-boosted-values). Altrove hanno suggerito che si può fare questo usando quello che Lucene chiama payload http://wiki.apache.org/solr/Payloads, ma finora non sono riuscito a farli funzionare dentro Solrhttp://sujitpal.blogspot.co.uk/2011/01/payloads-with-solr.html .

Si possono fare molte cose divertenti, però ci serve 1) tempo e soprattutto: 2) un server dove farle girare :-) 1) neanche io ne ho molto purtroppo 2) è che il server che ho io è un po' limitato come banda, non so bene come possa reagire ad un traffico un po' voluminoso. L'applicazione in sé non è molto pesante, né per la banda né per la CPU. Tra l'altro consuma molto di più quando fa lo scraping e aggiorna il DB che non quando serve le ricerche. Ma si può migliorare anche quest'aspetto, passando da un aggiornamento completo e da zero ad uno incrementale. Proverò a lavorarci ancora.

— Reply to this email directly or view it on GitHubhttps://github.com/spaghetti-open-data/twitAntonio/pull/68#issuecomment-13425894.

marco-brandizi commented 11 years ago

Un server che supporti Java? Se mi date un account ssh su un *NIX (non serve nemmeno che sia root), ve lo installo io, si tratta di tirare giù tre tarball (JDK, Tomcat e opzionalmente Maven) ed è fatta, si fa in 30-60 min. Se siete in hosting, penso basti mettere il .war da qualche parte, ma certo può essere scomodo (c'è bisogno di permsessi di scrittura per i file del database H2 dove stanno i dati di ricerca).

seralf commented 11 years ago

non credo il problema sia tanto installarlo quanto disporre di una macchina Marco! ;-)

Il giorno 12 febbraio 2013 11:37, Marco Brandizi notifications@github.comha scritto:

Un server che supporti Java? Se mi date un account ssh su un *NIX (non serve nemmeno che sia root), ve lo installo io, si tratta di tirare giù tre tarball (JDK, Tomcat e opzionalmente Maven) ed è fatta, si fa in 30-60 min. Se siete in hosting, penso basti mettere il .war da qualche parte, ma certo può essere scomodo (c'è bisogno di scrivere dei file per il database H2 dove stanno i dati di ricerca).

— Reply to this email directly or view it on GitHubhttps://github.com/spaghetti-open-data/twitAntonio/pull/68#issuecomment-13426799.