search

CodeandoMexico / los-scrapers

Recopilación de web scrapers para mejorar al gobierno (A collection of web-scrapers to extract government data)
12 stars 13 forks source link

INEGI Parser: Crear scripts de distribución del paquete #21

Closed milmazz closed 10 years ago

milmazz commented 10 years ago

Sería deseable poder contar con los scripts setup.pyy setup.cfg usados en los proyectos basados en Python para distribuir las aplicaciones. Con esto finalmente sería posible publicar el proyecto en PyPI (Python Package Index).

milmazz commented 10 years ago

Puedo colaborar con esta labor. Quisiera conocer sus opiniones al respecto y saber si están de acuerdo.

lalo commented 10 years ago

Que tanto sentido tiene publicar los scrapers en el PyPi, ya que Codeando piensa liberar los datos producidos como un data set y las personas que quiere colaborar con el producto van a usar el código directo en Github para hacer las modificaciones. En especial (que este no es el caso) hay scrapers que hacen llamadas a servidores públicos y es muy mal visto (y mala educación) hacer llamadas innecesarias. Publicarlo como paquete en PyPi ocasionaría que la gente lo instale y lo corra para obtener los mismos resultados en lugar de descargar el dataset.

milmazz commented 10 years ago

De acuerdo, el objetivo principal es alimentar datasets públicos o proveer mecanismos de fácil adquisición y explotación de estos datos. De todos modos ya el soporte para que cualquiera pueda instalar los scripts con un simple python setup.py install ya se encuentra.