Open numeroteca opened 3 years ago
Dejo esta pequeña idea por aquí para un csv simplificado. Faltaría detallar un poco más y quizá hacer otros flujos para vacunas, hospitalizados, procesados... tal y como comentas @numeroteca. La idea general que propongo es refactorizar por módulos.
Hola, Llevo un buen rato revisando la base de código y pensando en como afrontar un refactor. Mi primera cuestión es como plantear la validación de que el refactor es correcto.
Dado que el contenido de la carpeta data se sube al repositorio todos los dias ¿tiene sentido que la manera de verificar que cuando haces un refactor funciona bien sea verificar que el contenido de tu carpeta data y el de la carpeta data de el repositorio sean el mismo?
La verdad es que la base de código actual es muy grande y afrontar el refactor tiene su miga.
Estamos evaluando reestructurar y optimizar el código para procesar todos los datos.
Actualmente los datos se descargan de múltiples fuentes. Tanto los descargados automáticamente de repositorios de datos abiertos como los que se recopilan manualmente en una hoja de cálculo online compartida son luego procesados con este script de R en otro repositorio.
Este script cumple varias funciones:
Tienes un introducción a cómo hacer funcionar este script en la wiki.
Problemas
Vías de trabajo
Este hilo tiene como objetivo diseñar colectivamente un sistema más eficiente y distribuido. Lanzo algunas ideas:
Trocear el script en varios scripts con diferentes funciones, que pudan ser mantenidos por diferentes personas:
Pensar cómo ejecutar varios scripts de R de forma sencilla.
Nuevos mecanismos automatizados de validación de los datos para detectar errores. Actualmente se usan métodos visuales como este informe de datos disponibles o las tablas dinámicas con Rmarkdown. Además de todos los gráficos de https://lab.montera34.com/covid19/
Os animo a volcar ideas para desarrollar esto.
Abriremos otro hilo para pensar en las visualizaciones, fundamentales para vverificar que los datos son corrrectos.