Official links to proposals

[kikito]

(bug)

Cuando haces click en el enlace oficial de la Ley Sinde http://agoraonrails.com/proposals/30

te lleva a una ley de cesion de tributos para Cataluña

http://www.congreso.es/portal/page/portal/Congreso/Congreso/Iniciativas/Busqueda%20Avanzada?_piref73_1335465_73_1335464_1335464.next_page=/wc/servidorCGI&CMD=VERLST&BASE=IWI9&PIECE=IWA9&FMT=INITXD1S.fmt&FORM1=INITXLTS.fmt&DOCS=31-31&QUERY=%28I%29.ACIN1.+%26+%28%22COMPETENCIA+LEGISLATIVA+PLENA%22%29.TPTR.

[jorgegorka]

kilik85 y jorgegorka nos lo asignamos

[cavalle]

Esto supongo que está relacionado con el scrapper. En su momento me ocupé de esto, si tenéis alguna duda preguntadme

[jorgegorka]

Hemos revisado el scrapping y no vemos ningún problema al ejecutarlo aquí en local ha cogido los datos del enlace correctos.

[jorgegorka]

Cavalle: Vamos a cerrar este ticket. Si se necesita algo más nos comentas.

[cavalle]

Cierto, en principio parece que funciona. Lo que creo que pasa es el link deja de apuntar a la propuesta que solía según pasan los días. Los que han hecho la web del congreso no deben saber que es un permalink. Si os fijáis la URL tiene pinta de ser el resultado de una búsqueda. Yo creo que codifica algo así como: llevame al segundo resultado de la tercera página de la búsqueda por "Wadus". Superchungo. Y por eso, cuando se añaden nuevas propuestas, el link apunta a otra propuesta.

Es posible que una solución sea asegurarnos de que el scrapping actualiza el link cada vez que se ejecuta. Luego sólo habría que asegurarse de que se ejecuta diariamente.

O quizá podemos intentar encontrar algún otro link que sea permanente.

Así que vuelvo a abrir el issue

[cavalle]

What's the status of this one? Is it still pending? Should we unassigned it so someone else can pick it up?

[diasjorge]

I've noticed that the proposals have an identifier like (161/002150) If we do an advanced search using this identifier it returns only that proposal (according to 5 - 6 manual searches I did) Based on the result of this search we could use that url since it's not likely that we have more than one result

[diasjorge]

I've done an initial implementation. The code works fine but the tests are broken. We might need to figure out another way to decouple the test from the implementation

https://gist.github.com/878728

[Canx]

I would wrap code into an interface and gemify the scrapper in the future (as Luismi issued). It also could be interesting using vcr cassettes for fixtures: https://github.com/rubymaverick/vcr

[voodoorai2000]

Ephemeral Response might also be a good gem to test this.

[Canx]

I'm trying to separate import and scrapping task (and learn ruby doing it, any advice is apreciated!). Code and future gem here ATM: https://github.com/Canx/congress_scrapper