IIC2433-2017-2 / T02

Repositorio para realizar consultas sobre la tarea 1
1 stars 0 forks source link

Duda evaluación de performance soft #24

Open Geeermy opened 6 years ago

Geeermy commented 6 years ago

¡Hola! Me queda la duda sobre esta parte del análisis.

Me imagino que utilizamos predict_proba para evaluar el performance, pero... ¿con qué valor debería comparar este resultado? Mi vector original de comparación solo contiene una clase por entrada. Puedo transformarlo en una distribución, pero básicamente cada sample tendría solo una entrada con 1 (100% de probabilidad) y el resto 0.

Busqué algunas referencias donde construían matrices de confusión weak y soft, pero para ello también tenían una distribución de probabilidades para comparar los valores, no como en nuestro caso que solo tenemos clasificaciones duras. La referencia más completa en ese sentido es esta: https://arxiv.org/pdf/1301.0264.pdf (página 5, sección 2.2)

¡De antemano gracias!

bcsaldias commented 6 years ago

Además de comparar puedes sacar estadísticas.

Se busca que logren ver qué tan seguro o confundido es el modelo dado que se clasifica soft.

Saludos

El 25 oct. 2017 12:00, "Geeermy" notifications@github.com escribió:

¡Hola! Me queda la duda sobre esta parte del análisis.

Me imagino que utilizamos predict_proba para evaluar el performance, pero... ¿con qué valor debería comparar este resultado? Mi vector original de comparación solo contiene una clase por entrada. Puedo transformarlo en una distribución, pero básicamente cada sample tendría solo una entrada con 1 (100% de probabilidad) y el resto 0.

Busqué algunas referencias donde construían matrices de confusión weak y soft, pero para ello también tenían una distribución de probabilidades para comparar los valores, no como en nuestro caso que solo tenemos clasificaciones duras. La referencia más completa en ese sentido es esta: https://arxiv.org/pdf/1301.0264.pdf (página 5, sección 2.2)

¡De antemano gracias!

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/IIC2433-2017-2/T02/issues/24, or mute the thread https://github.com/notifications/unsubscribe-auth/AKHLfq4c2_922XjSz85PqwGZma4ezqFhks5sv0z6gaJpZM4QGJoJ .