[Tarea 4] 3.1 P3 Duda general

[matiasmsm]

Hola.

¿Es normal que me esten saliendo accuracies de 99.999% con algunas redes al probarlas con el set de validation y test?

Saludos

[diegomendieta]

Hola, no lo es. A qué te refieres con accuracy? Las métricas indicadas son MSE y MAE.

[matiasmsm]

Sí entiendo que las métricas que nos piden son MSE y MAE. Estas tienen valores super pequeños en el orden 10^-5 a veces. Pero también probe con la métrica accuracy y me entrega estos valores super altos. ¿Alguna idea? ¿Quizás cometí un error en el split de datos? Estoy haciendo todo con keras pero el split lo hice con sklearn.

¿Quizas sea por que estoy haciendo el fit con y_train_cat = to_categorical(y_train)? Como se hizo en la ayudantía.

[diegomendieta]

No uses accuracy. No tiene sentido fuera de un problema de clasificación, y lo que se me ocurre que podría estar pasando que, como probablemente todos tus valores predichos son mayores que 0.5, son interpretados como labels 1 y los evalúa todos como correctamente clasificados.

En relación a lo otro, es muy extraño que te den MSE y MAE tan bajas. Estás incluyendo el parámetro "validation_split" cuando haces el fit del modelo en Keras? Te recomiendo que evalúes manualmente algunos datos, para compararlos con sus ground truth respectivos.

[matiasmsm]

Ok muchas gracias por la ayuda!

[emyskog]

A mi pasa muy similar que me da valores de MAE y MSE muy bajas (tipo 0,0028) y si hice el validation split. No se si es un problema con mi preprocesamiento de datos?

[matiasmsm]

Me sumo. Si en el preprocesamiento estoy usando MinMaxScaler() en la matriz X_train,¿ qué preprocesamiento debo hacerle a y_train? ¿El mismo?

[matiasmsm]

¿Puede ser que no se tiene que preprocesar el vector y_train?

[diegomendieta]

Ahh, ahora entiendo por qué te está dando valores tan bajos @MatiasMingo. Efectivamente, Y no se normaliza. Solo se normaliza X, para que los features de entrada estén en una escala similar. @emyskog puede que estés haciendo lo mismo?

[matiasmsm]

Ahi funciona gracias!

[emyskog]

Yo no normalizo el Y, solo lo paso a to_categorical, y me sigue dando muy bajo :/

[diegomendieta]

@emyskog Ahí hay un problema. Al ser un problema de regresión, el Y no es una variable categórica, sino una numérica.

[emyskog]

y hay que mirar el mae de validación para ver si es menor de 800 o el train?

[diegomendieta]

@emyskog te contesté en #204.