search

CodeandoMexico / los-scrapers

Recopilación de web scrapers para mejorar al gobierno (A collection of web-scrapers to extract government data)
12 stars 13 forks source link

Armar un repositorio y API para los datos recolectados #6

Open defvol opened 11 years ago

defvol commented 11 years ago

Podríamos hacer un API out-of-the-box con http://datahub.io/ al subir en formato CSV o JSON los datos extraídos por los scrapers

Hace unos meses agregué esa funcionalidad a la gema CKAN ruby https://github.com/apohllo/CKAN

Podría ser una manera rápida de tener un API

defvol commented 11 years ago

cc: @mondras ... el problema que veo es que CKAN y datahub funcionan alrededor de datasets estáticos, lo cual nos provocaría cierta duplicidad al estar subiendo datasets estáticos

mondras commented 11 years ago

Suena muy chingón, si se puede "actualizar" la información podemos asignarles id's y que se tome como un dataset estático no?

Carlos Mondragón

2013/3/18 Rod Wilhelmy notifications@github.com

Podríamos hacer un API out-of-the-box con http://datahub.io/ al subir en formato CSV o JSON los datos extraídos por los scrapers

Hace unos meses agregué esa funcionalidad a la gema CKAN ruby https://github.com/apohllo/CKAN

Podría ser una manera rápida de tener un API

— Reply to this email directly or view it on GitHubhttps://github.com/CodeandoMexico/los-scrapers/issues/6 .

defvol commented 11 years ago

checate esto,

https://scraperwiki.com/scrapers/nc_cities_towns/

das de alta un scraper, you get an API, y parece ser que puedes dejar workers para que actualicen los datos