Agregar y llenar columnas TIPO_ARCHIVO y CANTIDAD_ARCHIVOS a dataset concentrado parquet

xuxoramos / score-respuesta-inai

Evaluación de acceso a la información

0 stars 2 forks source link

Agregar y llenar columnas TIPO_ARCHIVO y CANTIDAD_ARCHIVOS a dataset concentrado parquet #14

Closed xuxoramos closed 4 years ago

xuxoramos commented 4 years ago

[x] Agregar columna TIPO_ARCHIVO al archivo parquet
[x] Hacerle CURL o WGET u otro mecanismo en Python al URL en la columna ARCHIVO de los datasets originales
[x] Obtener el MIME type del archivo
[x] Escribir el tipo de archivo en la columna TIPO_ARCHIVO
[x] Si el archivo es ZIP, abrirlo y contar archivos que contiene
[x] Escribir este conteo de archivos en nueva columna CANTIDAD_ARCHIVOS_EN_ZIP

dvilla88 commented 4 years ago

Hola Jesus, Te confirmo que esta issue ya quedo solventado. En la S3 en la carpeta parquet se encuentra un archivo parquet consolidado con información del 2012 al 2019 con las 2 columnas nuevas (tipo_archivo_respuesta y cantidad_archivos_respuesta).

xuxoramos commented 4 years ago

https://inai-summerofdata.s3-us-west-2.amazonaws.com/parquet/inai.parquet

rafaelortegar commented 4 years ago

Se anexa captura de pantalla de las columnas adicionales en el archivo de parquet.

Captura de pantalla de 2020-06-18 18-21-19

xuxoramos commented 4 years ago

Validado el issue. Se cierra.