Agrega parser de INEGI via @rafaelcr

[defvol]

https://github.com/rafaelcr/INEGIParser

[defvol]

Cómo ves @mondras ? baja los archivos de la sección de descarga masiva

[mondras]

Ah chinga, ya ví, esto es del repo de @rafaelcr ! Dejaré de comentar sobre el código jaja Algo que he estado pensando es como correr estas cosas bien. Estaba pensando en usar Google App Engine pasando a python los scripts y teniendo la base de datos ahí mismo. La otra es hacer cooperacha para un server pequeño. ¿Qué opinas sobre esto?

Y más importante aún, debemos de definir el producto para saber en qué nos vamos a enfocar. Conseguí los presupuestos por secretaría, lo que no sé es con qué rapidez se publique información de gastos en el IFAI, ¿tienes idea? Creo este producto podría estar chido, trackear gastos por secretaría y recibir un reporte mensual.

[defvol]

IMO, la opción más rápida es usar ScraperWiki scraperwiki.com ... @rafaelcr ya está trabajando en subir su scraper ahí. La idea es no tener que volver a correr los scrapers. Almacenar los datos... ScraperWiki nos ofrece eso out-of-the-box. Y en el mediano plazo trabajamos sobre un API.

Sobre el producto del estado de cuenta del país, ese es otro thread de conversación no crees? De esto salen muchas ideas y proyectos. Pero este pull request es para meter el scraper del IFAI. No tengo idea sobre los procesos del IFAI pero el embajador @smjorge22 nos puede ayudar.

[mondras]

Estoy de acuerdo que es otro thread, pero es el que debería de dirigir estos esfuerzos

Sent from my iPhone

On 02/04/2013, at 10:18, Rod Wilhelmy notifications@github.com wrote:

IMO, la opción más rápida es usar ScraperWiki scraperwiki.com ... @rafaelcr ya está trabajando en subir su scraper ahí. La idea es no tener que volver a correr los scrapers. Almacenar los datos... ScraperWiki nos ofrece eso out-of-the-box. Y en el mediano plazo trabajamos sobre un API.

Sobre el producto del estado de cuenta del país, ese es otro thread de conversación no crees? De esto salen muchas ideas y proyectos. Pero este pull request es para meter el scraper del IFAI. No tengo idea sobre los procesos del IFAI pero el embajador @smjorge22 nos puede ayudar.

— Reply to this email directly or view it on GitHub.

[defvol]

Tú crees?

IMO, yo veo a los scrapers como un esfuerzo para extraer los datos de los sitios de gobierno y dejarlos en formato limpio. Los scrapers limpian.

Y eso es la base de un sin fin de productos como el caso del estado de cuenta mensual del país. Esas discusiones están en #2 y #3

Para inspiración ver: http://www.diputados.gob.mx/comisiones/cienytec/ :trollface:

[mondras]

Sí, pero esos datos de poco sirven si no son usados.

Carlos Mondragón

2013/4/2 Rod Wilhelmy notifications@github.com

Tú crees?

IMO, yo veo a los scrapers como un esfuerzo para extraer los datos de los sitios de gobierno y dejarlos en formato limpio. Los scrapers limpian.

Y eso es la base de un sin fin de productos como el caso del estado de cuenta mensual del país. Esas discusiones están en #2https://github.com/CodeandoMexico/los-scrapers/issues/2y

3 https://github.com/CodeandoMexico/los-scrapers/issues/3

Para inspiración ver: http://www.diputados.gob.mx/comisiones/cienytec/ [image: :trollface:]

— Reply to this email directly or view it on GitHubhttps://github.com/CodeandoMexico/los-scrapers/pull/7#issuecomment-15807315 .

[rafaelcr]

Hola, pongo aquí la nueva branch que te mencionaba, Rod, con el script para parsear INEGI ahora para PostgreSQL: https://github.com/rafaelcr/INEGIParser/tree/sql Cómo ven? Esta ruta será la buena para CKAN?

BTW: epic LOL con el botón de "Este sitio se ve mejor con IE 5" en la página de la Comisión de Ciencia y Tecnología!

[mondras]

Rafael, fuera de tema pero veo que andas en San José y Mountain View, yo ahorita ando en Mountain View. Estaría chido ir a cenar un día y platicar de estas cosas.

Nos ponemos de acuerdo en Twitter! Soy @mondras  — Sent from my mobile device

On Wed, Apr 3, 2013 at 12:14 AM, Rafael Cárdenas notifications@github.com wrote:

Hola, pongo aquí la nueva branch que te mencionaba, Rod, con el script para parsear INEGI ahora para PostgreSQL: https://github.com/rafaelcr/INEGIParser/tree/sql Cómo ven? Esta ruta será la buena para CKAN?

BTW: epic LOL con el botón de "Este sitio se ve mejor con IE 5" en la página de la Comisión de Ciencia y Tecnología!

Reply to this email directly or view it on GitHub: https://github.com/CodeandoMexico/los-scrapers/pull/7#issuecomment-15821869

[defvol]

Por qué no metes el branch a tu master @rafaelcr, aún lo estás probando? echa un pull request, no?

[rafaelcr]

Va, suena bien. He estado algo ocupado y ayer ya no pude darle, pero hoy en la tarde integro lo del JP, hago merge y meto un pull request aquí.

On Thursday, April 4, 2013, Rod Wilhelmy wrote:

Porque no metes el branch a tu master @rafaelcrhttps://github.com/rafaelcr, aún lo estás probando? echa un pull request, no?

— Reply to this email directly or view it on GitHubhttps://github.com/CodeandoMexico/los-scrapers/pull/7#issuecomment-15916275 .

Rafael Cárdenas

[juanpabloe]

@rafaelcr @rodowi en qué status quedó este PR ? @milmazz levantó un nuevo PR #18 cc @lalo

[milmazz]

@rodowi @rafaelcr @juanpabloe ping? esto debería estar cerrado, no?

[defvol]

cerrado, si a alguien le interesa puede ver el branch inegi, y armar otro PR.