Magic loop para modelado

[C1587S]

Pensar en la implementación de magic loop para ser ejecutado en luigi, conservando atomicidad de las tareas en el orquestador (que se ejecute una sola cosa en cada task).

• Los tasks de modelo deben guardar todos los hiper-parametros que el modelo utiliza (incluyendo los que están por default en sklearn)
• Si se ejecutan varios modelos a la vez, los metadatos de sus combinaciones deben quedar guardados (también sus pickles).
• Empezar a ver implementación tanto en sklearn tradicional y también en su versión paralelizada utilizando pyspark.

[C1587S]

Propuesta 1

• Crear un task para cada tipo de modelo entrenado. Esto, con el fin de tener más orden sobre el guardado de los hiper-parametros que utilizan estos por individual. Observación: dato que hay un solo schema modelling que guarda los mismos metadatos en una tabla para todos los tipos de modelos, lo óptimo sería guardar los hiperparametros del modelo como una lista, en una columna correspondiente a dicha variable.
• Implementar el loop en bash, aprovechando los parametros de las tareas luigi para probar combinaciones y tener un mejor control atómico del guardado de los metadatos.

[dvilla88]

¿Como serian las predicciones ahora? Nota (mismo modelo para todos los distritos) Distrito - Dia

¿Para grupo de referencia que sugerencia nos das? Distrito de referencia donde haya mas registros