search

xuxoramos / score-respuesta-inai

Evaluación de acceso a la información
0 stars 2 forks source link

Crear archivo parquet concentrado 2012-2019 #16

Closed xuxoramos closed 4 years ago

xuxoramos commented 4 years ago

Fusionar archivos XLS desde 2012 a 2019 (A y B) en un solo archivo en formato parquet.

Opcionalmente, las columnas definidas en #14 deben quedar ANTES de conformar este dataset concentrado agregándolos en los XLS, ó bien, DESPUÉS de que haya quedado conformado, directo en el parquet (desconozco si un archivo parquet se puede alterar, escribir, modificar, etc).

dvilla88 commented 4 years ago

Hola Jesus, Te confirmo que esta issue ya quedo solventado. En la S3 en la carpeta parquet se encuentra un archivo parquet consolidado con información del 2012 al 2019 con las 2 columnas nuevas (tipo_archivo_respuesta y cantidad_archivos_respuesta).

rafaelortegar commented 4 years ago

El archivo parquet se encuentra en la liga s3://inai-summerofdata/parquet/inai.parquet

y las columnas han sido añadidas correctamente, se adjunta evidencia:

Captura de pantalla de 2020-06-18 18-21-19

xuxoramos commented 4 years ago

Se cierra el issue.