Step3 clean

[dvilla88]

Hola Xuxo,

Se agregan cambios del step3_clean.

• Limpeza de información del archivo inai.parquet
• Tareas desempeñadas:
  • Estandarización de nulos.
  • Validación del tipo de las columnas.
  • Modificación de strings a lowercase.
  • Eliminamos acentos, dieresis y eñes de strings.
  • Eliminamos espacios al inicio y al final de strings.
  • Eliminamos espacios dobles (o mas) de strings.
  • Eliminamos columnas con observaciones con puros valores nulos.
  • Eliminamos observaciones con valores nulos en todas las columnas.
  • Eliminamos observaciones repetidas.
• Generar output en formato parquet (inai.parquet) y guardarlo en la S3 en la carpeta clean.