INEGI Parser: Soporte a más backends de bases de datos

CodeandoMexico / los-scrapers

Recopilación de web scrapers para mejorar al gobierno (A collection of web-scrapers to extract government data)

12 stars 13 forks source link

INEGI Parser: Soporte a más backends de bases de datos #20

Closed milmazz closed 7 years ago

milmazz commented 10 years ago

Hasta ahora el script brinda soporte a MongoDB (NoSQL) y PostgreSQL (SQL), lo cual puede ser suficiente. Sin embargo, sería deseable establecer un ORM como capa intermedia (SQLAlchemy por ejemplo) que dependiendo de la configuración indicada por el usuario puede trabajar con conectores hacia:

PostgreSQL
MySQL
SQLite
Oracle
MS-SQL
Firebird
Sybase

Por nombrar algunas, con SQLAlchemy podríamos crear al vuelo por ejemplo las tablas de la bases de datos y controlar la inserción de datos por medio de invocaciones más orientadas a objetos y no incluir tantas sentencias SQL en el código Python.

milmazz commented 10 years ago

Puedo colaborar con esta labor. Quisiera conocer sus opiniones al respecto y saber si están de acuerdo.

lalo commented 10 years ago

Esto es interesante, ya que lo que importa es liberar los datos de la manera más sencilla y actualmente basicamente obligamos el uso MongoDB y PostgreSQL en lugar de dejar la decision al usuario final.

milmazz commented 10 years ago

@lalo En base a lo expuesto en el issue 21 quizá llegue a reconsiderar la solicitud inicial, por lo que te entendí deberíamos apuntar en ofrecer un solo backend (Ej. MongoDB) y apuntar en realidad a alimentar u ofrecer un conector de datos con CKAN o en su defecto ofrecer un API para consumir fácilmente estos datos, ¿qué te parece?.

milmazz commented 7 years ago

Voy a cerrar este issue que lleva más de 3 años abierto, sientase libre de volverlo a abrir si aplica.