Selección de modelos (AIC, etc)

Pakillo commented 7 years ago

Ver https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/1#issuecomment-279989485 by @CarlosLaraR

Pakillo commented 7 years ago

@gemaescribano se ha ofrecido a liderar este tema (https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/1#issuecomment-280061541) Planned submission: Septiembre 2017

Pakillo commented 7 years ago

Hola @gemaescribano! Cómo llevas esta nota sobre model selection? Todo bien para submitir en Septiembre?

gemaescribano commented 7 years ago

Buenas! Pues en principio sí, pero si la idea es publicar una nota por número de Ecosistemas (right? ó me equivoco?) entiendo que hasta el número de septiembre-diciembre (que se publicaría a finales de diciembre 2017) hay tiempo. Correcto? En cualquier caso si que me gustaría tenerla para la fecha prevista. Os voy contando.

Pakillo commented 7 years ago

Perfe, gracias!

ibartomeus commented 6 years ago

@gemaescribano Hola Gemma, que tal llevas la nota? Seria genial tenerla pronto. Un abrazo y Gracias!

ibartomeus commented 5 years ago

Hola comunidad, podeis encontrar la nota aquí: https://github.com/ecoinfAEET/Notas_Ecosistemas/tree/master/multimodel_inference

Podeis enviar los comenterios en este mismo issue. Gracias!

asierrl commented 5 years ago

Buena nota, si...y necesaría. Muchas gracias, Gemma. De todas formas, creo que necesitaría alguna aclaración. Creo que el comentario de Tano es acertado y si se quiere dejar el procedimiento ajustado al MuMIn habría que aclarar que este es el procedimiento que sigue el MuMIn, y no el procedimiento general de la selección de modelos e inferencia multimodelos. De hecho, creo que el método contradice un poco los dos primeros párrafos. En ellos se habla de comparar hipótesis alternativas previas, y sin embargo el método compara todos los modelos anidados en un modelo global. Burnham y Anderson hacen hincapié en seleccionar los modelos que se van a poner a prueba y no usar todos los posibles. Además, las hipótesis alternativas podrían no ser anidadas. Por otro lado, la selección multimodelo no protege contra el hecho de "ignorar variables explicativas importantes que no aparezcan en el modelo elegido", ya que también pueden quedar variables fuera. Dos detalles más. Yo sugeriría usar pesos en lugar de weights a lo largo el texto. Y si no recuerdo mal, hace poco Burnham, tras varias simulaciones decía que sus sugerencias previas con respecto a deltaAIC no eran válidas y sugería que una diferencia entre modelos menor de 7 no era suficiente para discriminar entre ellos. En cualquier caso, hablo de memoria, y de eso tengo poco, así que igual me equivoco. Ah, por cierto, la o que hay entre números en la línea 72, creo que debería llevar una tilde, no? Un abrazo Asier

lnfran85 commented 5 years ago

Muy interesante y oportuna!, excelente trabajo!. Si de hecho terminais por seguir el procedimiento ajustado al MuMIn, sugiero incluir un par de lineas a describir un poco el summary del dredge y de como se puede interpretar. Que opinais? Personalmente, cuando comencé a utilizar esta metodología, la interpretación del summary del dredge me resultó bastante confusa y complicada al principio.

Abz Paco

CarlosLaraR commented 5 years ago

Gracias por la nota @gemaescribano y @tanogc. ¡Gran trabajo! Estoy de acuerdo con los comentarios previos de @lnfran85 y @asierrl. Yo creo que es interesante mantener MuMIn en la nota. Creo que un punto en común entre la nota y el comentario de @asierrl es mantener la estructura de la nota con MuMIn pero dejar un pequeño comentario recordando al lector que es necesario si usa MuMIn que todos los modelos tengan un sentido biológico y atiendan a las hipótesis planteadas. Y que la alternativa a MuMIn es especificar todos los modelos a testar y luego obtener su valor de AIC con la función AIC o AICtab (por ejemplo). A partir de esos valores de AIC seleccinar los modelos y si fuera necesario aplicar la función model.avg a los modelos seleccionados. Es cierto que usando MuMIn se corre el riesgo de testar muchas variables sin un objetivo claro. Pero creo que en la mayoría de los casos cuando introducimos variables en un modelo es porque las hemos medido y por ello consideramos que pueden tener su importancia y en esos casos creo que la utilizacion de MuMIn no contradice a Burhan y Anderson, sobretodo si tenemos cuidado con las interacciones. En este sentido creo que es importante especificar las interacciones que se quiern testar usando los dos puntos ":" en lugar de introducir todas las variables dependientes separadas de asteriscos. De esa manera nos aseguramos de que MuMIn no genere modelos imposibles con interacciones triples o cuádruples difíciles de interpretar. Respecto al punto de corte para delta AIC creo que se puede ser pragmático y dar la información sobre los posibles puntos de corte y luego que cada autor decida su punto de corte. En la nota se puede dejar 2 o 7. Por ejemplo pego aquí un texto de Burham et al 2011, Behav Ecol Sociobiol (2011) 65:23–35 que puede ser de ayuda (Las tablas 2 y 3 son muy interesantes también):

Δ>2 Rule. Some of the early literature suggested that models were poor (relative to the best model), and might be dismissed if they had Δ>2. This arbitrary cutoff rule is now known to be poor, in general. Models where Δ is in the 2–7 range have some support and should rarely be dismissed (see Fig. 2). Inference can be better based on the model likelihoods, probabilities, and evidence ratios and, in general, based on all the models in the set. From these quantitative measures one can then assign their own value judgment if they wish.

Saludos,

Pakillo commented 5 years ago

Muchas gracias @tanogc y @gemaescribano por la nota!

He metido mis comentarios y sugerencias de cambios en el Word adjunto.

Desde mi punto de vista, y coincidiendo con otros comentarios más arriba, creo que sería preferible enfatizar más la importancia de proponer un conjunto limitado de modelos con sentido biológico, en lugar de probar todas las combinaciones; y también cambiar la parte de promediado de parámetros (muy muy discutida), con el cálculo de predicciones multimodelo ponderadas, que sí goza de amplia aceptación.

multimodel_inference_FRS.docx

Gracias de nuevo

Paco

ibartomeus commented 5 years ago

@gemaescribano , @tanogc teneis trabajo de sobras con los comentarios de los compañeros. Podeis montar una segunda version para el 15 Marzo haciendo incapie en las limitaciones de AIC? Gracias!

tanogc commented 5 years ago

Muchas gracias @asierrl @lnfran85 @CarlosLaraR @Pakillo @ibartomeus por vuestros comentarios. Todos, muy útiles y creo que van a mejorar la robustez de la nota.

Me pongo ya mismo a revisar la nota y se la paso a @gemaescribano

Gracias de nuevo y hasta pronto Tano

tanogc commented 5 years ago

Buenas de nuevo,

@gemaescribano y yo hemos revisado la nota siguiendo vuestras sugerencias. Os dejo aquí algunos comentarios sobre la revisión:

Conjunto de modelos vs. modelo global: hemos dado énfasis a testar un grupo de modelos como opción prioritaría, pero hemos comentado también la estrategia del modelo global porque en algunos casos puede ser útil (pocos predictores que generen modelos plausibles). Hemos adaptado el código a ambas estrategias recomendando model.sel() en el caso de que tengamos un conjunto de modelos, y dredge() en el caso de que usemos un global model
Selección de modelos de confianza: en la nueva versión hemos dejado la selección de los modelos de confianza en aquelos que tengan un deltaAIC menor o igual a 7 y también aquellos con un peso acumulado de 0.95.
Model averaging: hemos centrado el texto en el promedio de predicciones, dejando el promedio de coeficientes solo para los casos recomendados en Banner and Higgs (2017). Creemos que es importante mencionar también esta opción para que los lectores la conozcan, comentando también que hay limitaciones y que debemos de ser precavidos.

Una cuestión adicional: Hemos sugerido que cuando modelo tenga un peso de 0.90 se podría considerar como mejor modelo, siguiendo lo proupesto por Jonhson and Omland, (2004). Sin embargo K. Burnhamm normalmente recomienda calcular el evidence ratio (peso mod1/ peso mod2) para tomar esa decisión. En este caso, si tenemos un modelo con weight=0.90, como mímino tendrá un evidence ratio de 9 (0.90/.010), que es basante. No hemos mencionado nada de los evidence ratio por simplicidad y porque no he encontrado un umbral que recomendar. ¿qué os parece?

@asierrl @lnfran85: No sé vuestro nombre completo ¿podríais decírmelo para que lo añada en agradecimientos? Gracias

Muchas gracias por todo Tano

Os dejo los archivos (están con cambios aceptados pero con los comentarios por si queréis mirar algo):

multimodel_inference_rev.docx

Fig. 1.pptx

asierrl commented 5 years ago

Todo lo que comentas me parece que va en la buena dirección, sí y me parece importante también incluir el promediado de coeficientes, quen algunos casos tiene validez, creo yo (por ejemplo, en captura recaptura a menudo se modelan varios modelos de la capturabilidad pero el interés está en la estima de N o supervivencia). En fin, que me parece que la nueva versión incorpora bien las sugerencias y queda más completa. Enhorabuena y muchas gracias, Tano y Gema por el curro de hacer esta nota. Ah! el nombre...es Asier Rodríguez Larrinaga. Abrazos Asier

El mié., 6 mar. 2019 a las 18:10, Tano Gutiérrez Cánovas (< notifications@github.com>) escribió:

Buenas de nuevo,

Gema y yo hemos revisado la nota siguiendo vuestras sugerencias. Os dejo aquí algunos comentarios sobre la revisión:

-

Conjunto de modelos vs. modelo global: hemos dado énfasis a testar un grupo de modelos como opción prioritaría, pero hemos comentado también la estrategia del modelo global porque en algunos casos puede ser útil (pocos predictores que generen modelos plausibles). Hemos adaptado el código a ambas estrategias recomendando model.sel() en el caso de que tengamos un conjunto de modelos, y dredge() en el caso de que usemos un global model

Selección de modelos de confianza: en la nueva versión hemos dejado la selección de los modelos de confianza en aquelos que tengan un deltaAIC menor o igual a 7 y también aquellos con un peso acumulado de 0.95.

Model averaging: hemos centrado el texto en el promedio de predicciones, dejando el promedio de coeficientes solo para los casos recomendados en Banner and Higgs (2017). Creemos que es importante mencionar también esta opción para que los lectores la conozcan, comentando también que hay limitaciones y que debemos de ser precavidos.

Una cuestión adicional: Hemos sugerido que cuando modelo tenga un peso de 0.90 se podría considerar como mejor modelo, siguiendo lo proupesto por Jonhson and Omland, (2004). Sin embargo K. Burnhamm normalmente recomienda calcular el evidence ratio (peso mod1/ peso mod2) para tomar esa decisión. En este caso, si tenemos un modelo con weight=0.90, como mímino tendrá un evidence ratio de 9 (0.90/.010), que es basante. No hemos mencionado nada de los evidence ratio por simplicidad y porque no he encontrado un umbral que recomendar (estamos en las de siempre, al final parece que si no das un 0.05 o un umbral, es complicado). ¿qué os parece?

@asierrl https://github.com/asierrl @lnfran85 https://github.com/lnfran85: No sé vuestro nombre completo ¿podríais decírmelo para que lo añada en agradecimientos? Gracias

Muchas gracias por todo Tano

Os dejo los archivos (están con cambios aceptados pero con los comentarios por si queréis mirar algo):

multimodel_inference_rev.docx https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937401/multimodel_inference_rev.docx

Fig. 1.pptx https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937403/Fig.1.pptx

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/5#issuecomment-470192720, or mute the thread https://github.com/notifications/unsubscribe-auth/AHr0xP2UfLNjT9kmvqKsfiPuHoV1_4bYks5vT_acgaJpZM4MBoGZ .

CarlosLaraR commented 5 years ago

Geneal el trabajo. Creo que con la revisión ha quedado muy bien. Lo veo muy completo. No es fácil contar la aproximación en tan pocas palabras. Os falta un espacio en la línea 16 antes de la cita de (Johnson and Omland, 2004).

Un abrazo!!

Carlos

algarsal commented 5 years ago

Hola,

No me he pronunciado hasta ahora porque no es un tema que controle. Pero, igual por eso mismo echo en falta alguna sugerencia sobre qué datos utilizar, supongo que se podría aconsejar alguno de los que ya vengan en alguno de los paquetes que proponéis, que sirviera para seguir los ejemplos de código del artículo.

O eso o proponer alguna viñeta o tutorial que permita correr algún ejemplo en cada caso. Al final la mejor forma de enterarse es hace algún ejemplo. No digo poner el ejemplo en el artículo porque quedaría muy largo, sólo aconsejar alguna tabla de datos o algún ejemplo ya publicado.

Por lo demás lo veo muy interesante, conciso y fácil de leer. Felicidades.

Alfonso

El 6/3/19 a las 18:10, Tano Gutiérrez Cánovas escribió:

Buenas de nuevo,

Gema y yo hemos revisado la nota siguiendo vuestras sugerencias. Os dejo aquí algunos comentarios sobre la revisión:

*
*Conjunto de modelos vs. modelo global*: hemos dado énfasis a
testar un grupo de modelos como opción prioritaría, pero hemos
comentado también la estrategia del modelo global porque en
algunos casos puede ser útil (pocos predictores que generen
modelos plausibles). Hemos adaptado el código a ambas estrategias
recomendando /model.sel/() en el caso de que tengamos un conjunto
de modelos, y /dredge/() en el caso de que usemos un global model
*
Selección de modelos de confianza: en la nueva versión hemos
dejado la selección de los modelos de confianza en aquelos que
tengan un deltaAIC menor o igual a 7 y también aquellos con un
peso acumulado de 0.95.
*
*Model averaging*: hemos centrado el texto en el promedio de
predicciones, dejando el promedio de coeficientes solo para los
casos recomendados en Banner and Higgs (2017). Creemos que es
importante mencionar también esta opción para que los lectores la
conozcan, comentando también que hay limitaciones y que debemos de
ser precavidos.
Una cuestión adicional: Hemos sugerido que cuando modelo tenga un peso de 0.90 se podría considerar como mejor modelo, siguiendo lo proupesto por Jonhson and Omland, (2004). Sin embargo K. Burnhamm normalmente recomienda calcular el evidence ratio (peso mod1/ peso mod2) para tomar esa decisión. En este caso, si tenemos un modelo con weight=0.90, como mímino tendrá un evidence ratio de 9 (0.90/.010), que es basante. No hemos mencionado nada de los evidence ratio por simplicidad y porque no he encontrado un umbral que recomendar (estamos en las de siempre, al final parece que si no das un 0.05 o un umbral, es complicado). ¿qué os parece?

@asierrl https://github.com/asierrl @lnfran85 https://github.com/lnfran85: No sé vuestro nombre completo ¿podríais decírmelo para que lo añada en agradecimientos? Gracias

Muchas gracias por todo Tano

Os dejo los archivos (están con cambios aceptados pero con los comentarios por si queréis mirar algo):

multimodel_inference_rev.docx https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937401/multimodel_inference_rev.docx

Fig. 1.pptx https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937403/Fig.1.pptx

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/5#issuecomment-470192720, or mute the thread https://github.com/notifications/unsubscribe-auth/AYjcf_0r0yiNi63N0HCdPVjApYZtJELBks5vT_abgaJpZM4MBoGZ.

lnfran85 commented 5 years ago

Hola a todos!,

Está genial el trabajo, esos pequeños cambios han mejorado y completado aún mas la nota. Parabéns Gemma y Tano por todo el trabajo.

Abrazo,

Francisco A. López-Núñez

tanogc commented 5 years ago

Hola a todos,

Muchas gracias por vuestras palabras. Me alegro de que os haya gustado la versión revisada.

@algarsal Muchas gracias por los comentarios y por la propuesta de añadir algún dataset de ejemplo. Tienes razón que con un ejemplo práctico todo se ve más fácil. De hecho, es algo que ya estuvimos considerando. Sin embargo, el hecho de sugerir un dataset de ejemplo (sin ir má allá) no sé si sería suficientemente ilustrativo. Para que lo fuera, tendríamos que añadir los modelos que se van a testar y, quizás, los resultados, lo cual haría que la nota quedara muy larga.

Un abrazo Tano

tanogc commented 5 years ago

Buenas de nuevo,

Subo la versión final de la nota. @Pakillo @ibartomeus Si hace falta que revise o añada algo más, me lo decís, por favor. Muchas gracias

Un abrazo Tano

multimodel_inference_final.docx Fig. 1.pdf Fig. 1.pptx

tanogc commented 5 years ago

Update:

Acabo de detectar un pequeño error en el código. Mando el documento actualizado:

multimodel_inference_final.docx

Pakillo commented 5 years ago

Muchas gracias @tanogc . Lo miro ahora y te digo

Pakillo commented 5 years ago

Ya lo he leído, y creo que ha quedado super bien! Muchísimas gracias @tanogc y @gemaescribano por el esfuerzo!

Sólo he añadido algunos comentarios menores al texto. Y creo que la Figura debe llevar un pie, aunque sea breve (una sola frase).

multimodel_inference_final_FRS.docx

Por lo demás, listo para enviar a Ecosistemas! Por favor, haced la submission en cuanto podáis para que entre en el próximo número. Muchas gracias de nuevo!

ibartomeus commented 5 years ago

Estupendo! Como ha dicho Paco listo para enviar usando el portal de Ecosistemas y indicando que es una nota ecoinformatica.

Gracias por el trabajo! Nacho

gemaescribano commented 5 years ago

Gracias a todos por las contribuciones y en especial a Tano por liderar esto!

Perdonad mi escasa interacción, pero la falta de tiempo últimamente raya lo absurdo...

Abrazos

https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail Libre de virus. www.avast.com https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El sáb., 16 mar. 2019 a las 8:11, Ignasi Bartomeus (< notifications@github.com>) escribió:

Estupendo! Como ha dicho Paco listo para enviar usando el portal de Ecosistemas y indicando que es una nota ecoinformatica.

Gracias por el trabajo! Nacho

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/5#issuecomment-473507229, or mute the thread https://github.com/notifications/unsubscribe-auth/AWb372o6iONoyw9zgSAg1-8IAARghqVVks5vXJkLgaJpZM4MBoGZ .

-- Gema Escribano-Avila PhD

Post-Doctoral Research Fellow

IMEDEA-UIB CSIC, Mallorca. Spain.

tanogc commented 5 years ago

Muchas gracias por vuestros comentarios.

Ya hemos revisado el documento (integrando estos últimos detalles) y lo hemos enviado a Ecosistemas

Muchas gracias y un saludo

Tano

El 16/03/2019 a las 23:22, gemaescribano escribió:

Gracias a todos por las contribuciones y en especial a Tano por liderar esto!

Perdonad mi escasa interacción, pero la falta de tiempo últimamente raya lo absurdo...

Abrazos

https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail Libre de virus. www.avast.com https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>

El sáb., 16 mar. 2019 a las 8:11, Ignasi Bartomeus (< notifications@github.com>) escribió:

Estupendo! Como ha dicho Paco listo para enviar usando el portal de Ecosistemas y indicando que es una nota ecoinformatica.

Gracias por el trabajo! Nacho

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub

https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/5#issuecomment-473507229, or mute the thread

https://github.com/notifications/unsubscribe-auth/AWb372o6iONoyw9zgSAg1-8IAARghqVVks5vXJkLgaJpZM4MBoGZ .

-- Gema Escribano-Avila PhD

Post-Doctoral Research Fellow

IMEDEA-UIB CSIC, Mallorca. Spain.

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/ecoinfAEET/Notas_Ecosistemas/issues/5#issuecomment-473597518, or mute the thread https://github.com/notifications/unsubscribe-auth/AX6uiJeM_DEGYhgKFD8mhnDqVPkQGkXLks5vXW7AgaJpZM4MBoGZ.

-- Cayetano Gutiérrez Cánovas FEHM Lab http://www.ub.edu/fem/index.php/es/ Department of Evolutionary Biology, Ecology and Environmental Sciences University of Barcelona Diagonal, 643 08028 Barcelona Spain

ecomandanga.org http://ecomandanga.org skype: tano.gc twitter: @tano_gc

ecoinfAEET / Notas_Ecosistemas

Selección de modelos (AIC, etc) #5

Selección de modelos de confianza: en la nueva versión hemos dejado la selección de los modelos de confianza en aquelos que tengan un deltaAIC menor o igual a 7 y también aquellos con un peso acumulado de 0.95.

-- Gema Escribano-Avila PhD

-- Gema Escribano-Avila PhD