Implementar un ETL que procese adecuadamente 1 catálogo con CSVs de descarga directa

datosgobar / series-tiempo-ar-scraping

ETL y servidor web para scrapear series de tiempo de Excels semi-estructurados y transformarlos en distribuciones de formato abierto, basado en una extensión experimental del Perfil Nacional de Metadatos de la política de apertura de datos de la APN.

MIT License

8 stars 7 forks source link

Implementar un ETL que procese adecuadamente 1 catálogo con CSVs de descarga directa #38

Open abenassi opened 5 years ago

abenassi commented 5 years ago

Ejemplos de descarga directa:

catalog_id: "defensa" catalog_url: http://datos.mindef.gov.ar/data.json (Dataset "b026cef2-d1cb-4081-a545-2691bfe2c835")

catalog_id: "salud" catalog_url: http://datos.salud.gob.ar/data.json

Debe poder procesar CSVs de descarga directa de distribuciones de series de tiempo
Anunciar que no tiene estrategia para aquellos CSVs de series de tiempo que no tengan descarga directa
Ignorar CSVs que no sean de series de tiempo
Mensajes sólo se ven en el logger