GeeksCAT / gt-datascience

GNU Affero General Public License v3.0
2 stars 0 forks source link

Històric de dades d'incidències de RENFE #1

Open SanFran128 opened 1 year ago

SanFran128 commented 1 year ago

Actualment es pot consultar en temps real quan hi ha una incidència a les línies de RENFE (http://web02.renfe.es/u94/MTR/informa.nsf/incidencias?openagent), però no es pot veure les que hi van haver ahir. Hi ha però, informació d'aquestes incidències publicada a Twitter (https://twitter.com/avisosrodalies). També hi ha informació a la web de dades obertes de la generalitat, però les dades tenen més de 6 mesos. És per això que es proposa un projecte per tal de recollir dades del compte de Twitter i de les webs de rodalies i de la generalitat per unificar-les i poder explotar-les per respondre preguntes com: Hi ha més incidències a l'estiu que a l'hivern? Hi ha més incidències al matí que al vespre? Quina línia té més incidències (i potser cal demanar més manteniment)? I ja posats: El cap de setmana vinent hi ha previsió de pluja. Quina probabilitat d'afectació pot haver per anar a esquiar?

Estem en fase d'anàlisi per veure quines dades podem recollir i on i com emmagatzemar-les. Un cop netejades i preprocessades plantejarem la forma de presentar-les.

rrrnau commented 1 year ago

En quant a Twitter, amb la seva API només deixen buscar tweets amb una antiguitat màxima d'una setmana amb el compte normal, se'n necessitaria un de superior (academic research) per accedir a l'històric complet: https://developer.twitter.com/en/docs/twitter-api/tweets/search/introduction. Jo he fet servir aquesta API per captar tweets en streaming i funciona bé, però en aquest cas entenc que interessa l'històric. He trobat això, però no ho he provat: https://pypi.org/project/GetOldTweets3/

Si algú té alguna altra idea...

SanFran128 commented 1 year ago

Probaré amb un compte de desenvolupador a veure fins on podem arribar. Com les dades de la web de dadesobertes de la gene són antigues potser és qüestió de fer un mix. Aprofitaríem per aprendre a programar tasques idempotents!. Donarà feina això :)