29antonioac / StarCraft-winner-prediction

Using supervised learning to predict the winner of a match
GNU General Public License v3.0
14 stars 2 forks source link

Hay algún problema en los resultados #17

Closed JJ closed 7 years ago

JJ commented 7 years ago

En general, Random Forest es el mejor clasificador en casi cada ocasión. kNN es tan simple que se suele usar como baseline, igual que el Naïve Bayes. Y más, si usamos k=3. Convendría que hicieras diferentes particiones del conjunto y diferentes pruebas, porque los resultados son realmente sorprendentes.

29antonioac commented 7 years ago

Yo también me sorprendí, ya hice varias pruebas en junio y todo debería ser correcto.

Además, cuando hice pruebas con R en octubre, obtuve resultados similares con 3-NN.

En cualquier caso, desde que me comentaste el problema de la experimentación, estoy ejecutando todo de nuevo repetidas veces (5, y aún quedan bastantes horas). A ver qué sale.

El 26 ago. 2017 19:42, "Juan Julián Merelo Guervós" < notifications@github.com> escribió:

En general, Random Forest es el mejor clasificador en casi cada ocasión. kNN es tan simple que se suele usar como baseline, igual que el Naïve Bayes. Y más, si usamos k=3. Convendría que hicieras diferentes particiones del conjunto y diferentes pruebas, porque los resultados son realmente sorprendentes.

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/analca3/StarCraft-winner-prediction/issues/17, or mute the thread https://github.com/notifications/unsubscribe-auth/ADwel0bt9wkIv6jp9YzCjq3PAVqQjO93ks5scFkOgaJpZM4PDkT1 .

JJ commented 7 years ago

El 27 de agosto de 2017, 18:11, Antonio Álvarez Caballero < notifications@github.com> escribió:

Yo también me sorprendí, ya hice varias pruebas en junio y todo debería ser correcto.

Además, cuando hice pruebas con R en octubre, obtuve resultados similares con 3-NN.

El problema no es tanto con eso sino con el resto. Ya te digo, Random Forest casi siempre da buenos resultados. Normalmente tienes que hacer un análisis de sensibilidad a diferentes parámetros para ver cómo variaría el resultado dependiendo de los mismos.

29antonioac commented 7 years ago

Por fin ha terminado la experimentación. Han salido resultados similares para los distintos conjuntos de validación.

JJ commented 7 years ago

Ahora sí puedes decir que el resultado es estadísticamente significativo...

29antonioac commented 7 years ago

70791925edea5ac7c51a2cef1b992e85471fc85d también cerraba este