Adquisición de datasets

xuxoramos / movicovid

MOVICOVID: Análisis de movilidad por SocialTIC y la Sociedat para la caracterización de población en movimiento durante la jornada de #SusanaDistancia.

MIT License

0 stars 2 forks source link

Adquisición de datasets #13

Closed Fridagc closed 4 years ago

Fridagc commented 4 years ago

Configurar el pipeline de adquisición del conjuntos de datos para categorizar las rutas origen-destino

elozadaj commented 4 years ago

AWS Glue Pipeline:

[x] Creación de base de datos (para guardar metadata)
[x] Definición de esquema para archivo CSV dataforgood
[ ] Definición de esquema para archivo parquet dataforgood
[ ] Creación de script para transformar de csv a parquet
[ ] Creación de lambda trigger al agregar CSV en S3

elozadaj commented 4 years ago

Al crear los esquemas, se pueden dividir los datos para mejorar la lectura/análisis. Esto podría servir para campos como "fecha", "origen" o "destino".

https://aws.amazon.com/blogs/big-data/work-with-partitioned-data-in-aws-glue/

xuxoramos commented 4 years ago

Esto se jala para el siguiente sprint.

xuxoramos commented 4 years ago

Esto se cerrará en cuanto @elozadaj levante la infra y ejecución de ETL en cuenta de la sociedat.

elozadaj commented 4 years ago

No se utilizará amazon glue por:

Costo: después de realizar algunas pruebas pequeñas, se comenzó a generar un costo.
Overkill: la infraestructura levantada no justifica nuestro objetivo de negocio

Se ha implementado una solución que involucra AWS Lambda y eso es suficiente.

elozadaj commented 4 years ago

Se puede cerrar después de corroborar que #6 ya funciona.

xuxoramos commented 4 years ago

Se cierra issue.