Model evaluation

[robperch]

Liliana's instructions

2. Generar la curva ROC, la tabla de métricas del modelo y la eficiencia y cobertura en cada punto de corte.
3. Generar la curva de precision recall con el modelo seleccionado incluyendo una línea en tu k.
   • ¿Cuánto tienes de cobertura@k? Interpreta
   • ¿Cuánto tienes de eficiencia@k? Interpreta
4. ¿Cuál es la cobertura máxima que se puede tener con la k que tienes?
   • Tomando en cuenta la respuesta a esta pregunta, tu modelo ¿es bueno? ¿es malo?

Se tiene que entregar:

• Un archivo html/pdf con el reporte que contiene:

• [ ] La tabla de métricas de tu mejor modelo

• [ ] La curva ROC

• [ ] La curva de precision y recall

• Un script model_evaluation.py que tenga las siguientes funciones:

• [ ] load_model(path): Recibe el path en donde se encuentra el pickle que generaste durante el modelado.

• [ ] metrics(models): Genera las siguientes métricas (revisa el notebook metricas_desempeño.ipynb):

  • ROC curve
  • Precision
  • Recall
  • Tabla de métricas

• [ ] save_metrics(df, path): Guarda en formato pickle el data frame de la tabla de métricas de tu modelo seleccionado. El pickle se debe llamar metricas_offline.pkl y se debe guardar en la carpeta output.

[codeMariana]

@ElenaVillano en la rama 50, en pipelines creé la estructura del model_evaluation.py, solo faltaría que la completaras de acuerdo con lo realizado en el notebook. No encontré este módulo en ninguna otra rama. Si está, haz caso omiso.