ETL y servidor web para scrapear series de tiempo de Excels semi-estructurados y transformarlos en distribuciones de formato abierto, basado en una extensión experimental del Perfil Nacional de Metadatos de la política de apertura de datos de la APN.
MIT License
8
stars
7
forks
source link
Capturar logging de errores al leer un catálogo en XLSX para enviar en el reporte #31
Hoy la validación de errores y envío de reporte por mail actúa desde que un catálogo pudo ser efectivamente leído a un objeto DataJson() en adelante, pero hay errores que ocurren en el momento de lectura de un XLSX que no llegan a ese reporte. Se loggean en la consola pero no se capturan.
Ejemplo: usando el catálogo del SIEP surge la necesidad de dar feedback automático de estos errores para que se corrijan más rápido.
Propuesta
Hay varios puntos de intervención posibles:
Capturar el logging actual e incluirlo como texto en el cuerpo del mensaje (desarrollo sencillo en series-tiempo-ar-scraping)
Revisar la implementación de la validación normal, y replicar el patrón de diseño para la lectura de XLSX, de forma que los errores se puedan acumular en el mismo formato y agregarse al reporte en Excel actual que llega adjunto (desarrollo más complejo en pydatajson)
Contexto
Hoy la validación de errores y envío de reporte por mail actúa desde que un catálogo pudo ser efectivamente leído a un objeto DataJson() en adelante, pero hay errores que ocurren en el momento de lectura de un XLSX que no llegan a ese reporte. Se loggean en la consola pero no se capturan.
Ejemplo: usando el catálogo del SIEP surge la necesidad de dar feedback automático de estos errores para que se corrijan más rápido.
Propuesta
Hay varios puntos de intervención posibles:
series-tiempo-ar-scraping)pydatajson)