konstellation-io / science-toolkit

Intelygenz standard environment that covers the technological and methodological needs of a data team in an artificial intelligence project.
https://konstellation-io.github.io/science-toolkit/
43 stars 4 forks source link

Add MLFlow projects to Science Toolkit #95

Open IGZEnriqueRomera opened 3 years ago

IGZEnriqueRomera commented 3 years ago

Conclusions:

IGZVasjaUrbancic commented 3 years ago

He explorado un poco lo que son MLflow Projects & Models, hago un pequeño resumen aqui.

MLflow Projects

El objetivo de MLflow Projects es de facilitar la ejecucion de runs identicos, de tal manera que el entorno a la hora de reejucion sea identico a la ejecucion original. Eso me suena mucho a lo que dentro de Science Toolkit y KDL conseguimos con Drone, y no veo que mas nos aportarian MLflow Projects. Lo unico es si algun usuario querria "exportar" las ejecuciones de Drone y de Konstellation y repetirlas fuera en alguna otra plataforma. En este caso si que servirian, para portabilidad de ejecuciones. Pero no lo veo util para uso habitual dentro de Konstellation.

Screenshot from 2021-02-19 15-08-53

Screenshot from 2021-02-19 15-14-09

MLflow Models

MLflow models son una interfaz para estandarizar la manera de interactuar con modelos de sitios distintos. Por ejemplo, PyTorch, sklearn, TF/Keras, incluso R, cada uno tiene la interfaz un poco distinta (por ejemplo, para hacer inferencia con modelo sklearn se llama model.predict(x), mientras que con PyTorch es model(x); lo mismo para cargar modelos de disco, etc.). La idea de MLflow models es de poder interactuar con todos los modelos de la misma manera, no importa de que framework venga el modelo. A lo mejor eso si que puede ser una opcion interesante. Otra funcionalidad de MLflow Models tambien es poder "servir" los modelos en entornos/plataformas distintas de mismo modo estandarizado, lo que tampoco ayudaria al usuario aparte de ofrecer la portabilidad de modelos fuera de Konstellation.

Screenshot from 2021-02-19 15-09-38

Screenshot from 2021-02-19 15-09-54

(Capturas de pantalla de https://www.youtube.com/watch?v=g5ibwiSH1uA&feature=emb_logo)