jvcasillas / morph_pred

Morphological predictability code
1 stars 1 forks source link

lang_learn: table + interpretation #14

Open crislozano opened 4 years ago

crislozano commented 4 years ago

Hola, Joseph:

Hablé con Nuria y ya tiene sentido.

2 learners y monolingües predicen igual (usando WM de la misma manera), tener más WM te ayuda en la condición de stress más frecuente (parox), que es en la que se activan más competidores léxicos (y por lo tanto es más difícil). Con las oxítonas, menos frecuentes, WM no te da una ventaja. Con los intérpretes, vemos el patrón opuesto por los efectos de su training y práctica profesional. A la hora de interpretar, los que tienen más WM son más conservadores y esperan más para tomar una decisión. Con las paroxítonas, como hay más competidores léxicos, tardan más en tomar una decisión y por eso vemos que lo hacen "peor" (aka, predicen más tarde). Con las oxítonas, como tienen menos competidores, lo pueden hacer más rápido y WM te da una ventaja.

Hasta aquí, bien, hay una explicación. Lo que pensé después (y volví a hablar con Nuria, por eso tardé más en contestarte) es que... la explicación de la frecuencia solo se aplica a stress y no a la estructura silábica. Nuria ve dos opciones:

  1. Lo explicamos como que no confirma nuestra hipótesis, el tema de la frecuencia no se aplica por igual a suprasegmentals y segmental, entonces puede que haya otros factores como tiempo, coarticulación, etc. que también influyen y no estamos midiendo. Es decir, sí descubrimos algo nuevo porque vemos que no es tan simple como decir la frecuencia lo explica todo y listo.

  2. Nos centramos solo en una estructura silábica. Pero claro, así perdemos casi la mitad de los datos... No sé cómo de viable sería esto

¿Cómo lo ves tú?

jvcasillas commented 4 years ago

Lo explicamos como que no confirma nuestra hipótesis, el tema de la frecuencia no se aplica por igual a suprasegmentals y segmental, entonces puede que haya otros factores como tiempo, coarticulación, etc. que también influyen y no estamos midiendo. Es decir, sí descubrimos algo nuevo porque vemos que no es tan simple como decir la frecuencia lo explica todo y listo.

Bien. Me gusta.

Una cosa que se me ocurre. Sugiero que no tiremos por lo de segmental versus suprasegmental. Es una explicación muy forzada. Estructura silábica no es del todo segmental. Es la presencia/ausencia de un segmento, pero está claro tiene que ver con ambos niveles (suprasegmental y segmental) porque al fin y al cabo es la composición de la sílaba... lo cual claramente no es segmental. En fin, forzamos esa explicación en el artículo de BLC porque Nuria quería separar de esa manera (era conveniente). Si te fijas, hubo que poner varios footnotes para que colara. Creo que deberíamos evitar eso en el framing del siguiente artículo.

Nos centramos solo en una estructura silábica. Pero claro, así perdemos casi la mitad de los datos... No sé cómo de viable sería esto

Nah.

jvcasillas commented 4 years ago

Para arreglar la tabla tengo que saber el modelo final. Aún no he mirado nada. Ha cambiado?

crislozano commented 4 years ago

Cambió desde que habías hecho la tabla anterior, pero no desde añadimos una interacción más (y sacamos el gráfico que le enseñé ayer). El modelo final es este: gca_wm_condition_sum_grp_mod_int_2

crislozano commented 4 years ago

Volví a estos resultados. Estuve actualizando el report porque la tabla decía una cosa y los resultados en texto otra (ya recordé todo lo que era). Lo que veo que falta es el pairwise comparison. Intenté incluirla pero no entiendo cómo es la estructura de las tablas para poder modificarla.

Sé que el error es que en el código que pongo hay 6 rows y en los datos 11, pero no entiendo bien cómo modificar el código. Este es el chunk:

```{r, 'learner-comparison'}
# make table for printing
pairwise_comp <- full_mods_lang_learn$gca_full_mod_wm_relevel %>%
  tidy_lme4 %>%
  rename(B = Estimate) %>%
  filter(str_detect(Parameter, "la") == TRUE)

# Add subscript column, convert to rownames, and then add it again
pairwise_comp$subscript <- c(paste0(0:3, 8), paste0(0:1, 9))
pairwise_comp <- tibble::column_to_rownames(pairwise_comp, 'subscript')
pairwise_comp$subscript <- c(paste0(0:3, 8), paste0(0:1, 9))

# Shortcut for inline reporting from the above table
report_pairwise <- function(row_name) report_fixef_row(pairwise_comp, row_name)

Le quité % select(-effect) a la primera función porque en otra tabla me había dado problemas y en esta igual (el error era que effect not found). Cuando hice eso con la otra tabla me funcionó, solo lo menciono por si estoy liando algo y no me doy cuenta (y para que no te vuelvas loco tú si es que eso genera un error más tarde).

Creo que lo que no entiendo es aquí:

c(paste0(0:3, 8), paste0(0:1, 9))

¿por qué 0:3, 8, y luego 0:1, 9? ¿0:3 es el intercept y los 3 time terms?

El script en el que estoy trabajando es este

jvcasillas commented 4 years ago

Efectivamente el código que incluyes arriba es lo que da el error (por ahora). Como has añadido más comparaciones, tiene que haber subscripts para cada fila. Ahora hay 11 entonces se entiende el vector para que haya 11 subscripts. Ahora tienes otro problema... antes había una lista que se llamaba full_mods. En el report que has hecho no existe esta lista, entonces tendrás que modificar el código de abajo (línea 356 del mismo script) para funcione la última tabla:

pretty_pairwise_table <- full_mods$gca_full_mod_int_relevel %>%
crislozano commented 4 years ago

Listo, actualicé el nombre de la lista y ya funciona. ¡Gracias! No cierro el issue porque interpretar esto va a ser muy fun...

crislozano commented 4 years ago

¿Estarás algún día por la oficina? Creo que va a ser más fácil si acumulo una lista de dudas.

jvcasillas commented 4 years ago

¿Qué tal el lunes a las 11? Spring street.

crislozano commented 4 years ago

Perfecto, gracias.

El 11 ene 2020, a las 7:31, Joseph V. Casillas notifications@github.com escribió:

¿Qué tal el lunes a las 11? Spring street.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/jvcasillas/morph_pred/issues/14?email_source=notifications&email_token=AG3CZFXII7NP6HY7ATO4UKTQ5G33LA5CNFSM4ISR6WJ2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEIWA7KA#issuecomment-573312936, or unsubscribe https://github.com/notifications/unsubscribe-auth/AG3CZFSX3NMBDW4IXZFW4CDQ5G33LANCNFSM4ISR6WJQ.

crislozano commented 4 years ago

Mmm... con los intérpretes me sale una cosa diferente que no sé muy bien cómo interpretar. Los efectos son estos:

Time1 × Lexical stress × Group IN:Working memory (γ37) 0.684 0.301 2.273 .023 Time2 × Lexical stress × Group IN:Working memory (γ210) 0.772 0.299 2.580 .010

Para paroxytone, los que tienen menos WM empiezan mirando más hacia el target y justo antes del offset se dan la vuelta y los que tienen más WM empiezan a predecir más? No entiendo muy bien qué significa. Las líneas están bastante juntas en las dos condiciones, solo es que en paroxytone se dan la vuelta.

stress_wm_int

crislozano commented 4 years ago

Ah! Y una pregunta que tenía apuntada el otro día y se me olvidó hacerte.

There was a main interaction of working memory and stress on the linear and quadratic time terms?

crislozano commented 4 years ago

Al empezar ahora a escribir la sección de resultados tengo un problema. No me coinciden los efectos de la tabla con los del nested model para los main effects que teníamos en BLC (no sé si me explico). Por ejemplo, del nested model testing the effects of coda me sale esto:

                              Df   AIC   BIC logLik deviance  Chisq Chi Df Pr(>Chisq)  

gca_mod_ss_base 36 35005 35249 -17467 34933
gca_mod_ss_coda_0 37 35007 35257 -17466 34933 0.1980 1 0.65635
gca_mod_ss_coda_1 38 35009 35266 -17466 34933 0.1279 1 0.72067
gca_mod_ss_coda_2 39 35009 35273 -17466 34931 1.8109 1 0.17840
gca_mod_ss_coda_3 40 35007 35277 -17463 34927 4.3673 1 0.03663 *

Es decir, un efecto de coda en el cubic term. Pero en la tabla, el efecto me sale en el linear term

Parameter Estimate SE t p
Intercept (γ00) 1.176 0.214 5.497 < .001
Time1 (γ10) 5.421 0.746 7.262 < .001
Time2 (γ20) −1.372 0.396 −3.464 < .001
Time3 (γ30) −1.677 0.297 −5.644 < .001
Syllable structure (γ01) −0.185 0.105 −1.773 .076
Time1 × Syllable structure (γ11) 0.819 0.375 2.183 .029
Time2 × Syllable structure (γ21) 0.424 0.240 1.769 .077
Time3 × Syllable structure (γ31) −0.251 0.161 −1.553 .121

¿Cómo arreglo esto?

jvcasillas commented 4 years ago

Mmm... con los intérpretes me sale una cosa diferente que no sé muy bien cómo interpretar. Los efectos son estos:

Time1 × Lexical stress × Group IN:Working memory (γ37) 0.684 0.301 2.273 .023 Time2 × Lexical stress × Group IN:Working memory (γ210) 0.772 0.299 2.580 .010

Para paroxytone, los que tienen menos WM empiezan mirando más hacia el target y justo antes del offset se dan la vuelta y los que tienen más WM empiezan a predecir más? No entiendo muy bien qué significa. Las líneas están bastante juntas en las dos condiciones, solo es que en paroxytone se dan la vuelta.

stress_wm_int

En este caso creo que el efecto no es "real". Recuerdo que en los gráficos de los datos crudos que había momentos en que los time course fixations estaban por encima de 50% por la cara (y mucho antes de tener la información necesaria para tomar una decisión). En este caso lo que puedes hacer es quitar 100ms del comienzo del time course... o sea un subset que quite la parte de la izquierda del gráfico. ¿Tiene sentido?

jvcasillas commented 4 years ago

Ah! Y una pregunta que tenía apuntada el otro día y se me olvidó hacerte.

  • ¿Cómo reporto una interacción del nested model? ¿igual que el main effect?

There was a main interaction of working memory and stress on the linear and quadratic time terms?

Es como reportar un main effect pero no dices "main"... ex. There was a working memory x stress interaction on the linear and quadratic time terms.

jvcasillas commented 4 years ago

Al empezar ahora a escribir la sección de resultados tengo un problema. No me coinciden los efectos de la tabla con los del nested model para los main effects que teníamos en BLC (no sé si me explico). Por ejemplo, del nested model testing the effects of coda me sale esto:

                              Df   AIC   BIC logLik deviance  Chisq Chi Df Pr(>Chisq)  

gca_mod_ss_base 36 35005 35249 -17467 34933 gca_mod_ss_coda_0 37 35007 35257 -17466 34933 0.1980 1 0.65635 gca_mod_ss_coda_1 38 35009 35266 -17466 34933 0.1279 1 0.72067 gca_mod_ss_coda_2 39 35009 35273 -17466 34931 1.8109 1 0.17840 gca_mod_ss_coda_3 40 35007 35277 -17463 34927 4.3673 1 0.03663 *

Es decir, un efecto de coda en el cubic term. Pero en la tabla, el efecto me sale en el linear term

Parameter Estimate SE t p Intercept (γ00) 1.176 0.214 5.497 < .001 Time1 (γ10) 5.421 0.746 7.262 < .001 Time2 (γ20) −1.372 0.396 −3.464 < .001 Time3 (γ30) −1.677 0.297 −5.644 < .001 Syllable structure (γ01) −0.185 0.105 −1.773 .076 Time1 × Syllable structure (γ11) 0.819 0.375 2.183 .029 Time2 × Syllable structure (γ21) 0.424 0.240 1.769 .077 Time3 × Syllable structure (γ31) −0.251 0.161 −1.553 .121 ¿Cómo arreglo esto?

A ver si entiendo bien. En la tabla final (de este artículo) los parameter estimates difieren de los de la tabla final del artículo de BLC, ¿no? Si esto es lo que quieres decir, no pasa nada. Es otro modelo con una variable más (wm) entonces todo tiene que cambiar. Si esto no es lo que quieres decir, etnonces creo que no entiendo. Tendrás que darme más detalle.

crislozano commented 4 years ago

Mmm... con los intérpretes me sale una cosa diferente que no sé muy bien cómo interpretar. Los efectos son estos: Time1 × Lexical stress × Group IN:Working memory (γ37) 0.684 0.301 2.273 .023 Time2 × Lexical stress × Group IN:Working memory (γ210) 0.772 0.299 2.580 .010 Para paroxytone, los que tienen menos WM empiezan mirando más hacia el target y justo antes del offset se dan la vuelta y los que tienen más WM empiezan a predecir más? No entiendo muy bien qué significa. Las líneas están bastante juntas en las dos condiciones, solo es que en paroxytone se dan la vuelta. stress_wm_int

En este caso creo que el efecto no es "real". Recuerdo que en los gráficos de los datos crudos que había momentos en que los time course fixations estaban por encima de 50% por la cara (y mucho antes de tener la información necesaria para tomar una decisión). En este caso lo que puedes hacer es quitar 100ms del comienzo del time course... o sea un subset que quite la parte de la izquierda del gráfico. ¿Tiene sentido?

Creo que no me expliqué bien. No me refería a la parte izquierda del gráfico, sino a los efectos de WM en la condición paroxítona (azul). ¿Ves que se cruzan high y low WM justo antes del intercept? ¿Ese es el efecto que sale, no? Al principio, para la curva azul, los low WM están por encima, pero eso cambia justo antes del intercept y luego la curva de high WM sale por encima. Entonces yo lo que entiendo es que algo pasa con WM y la condición paroxítona, pero no sé qué es ese algo 😂

crislozano commented 4 years ago

Al empezar ahora a escribir la sección de resultados tengo un problema. No me coinciden los efectos de la tabla con los del nested model para los main effects que teníamos en BLC (no sé si me explico). Por ejemplo, del nested model testing the effects of coda me sale esto:

                              Df   AIC   BIC logLik deviance  Chisq Chi Df Pr(>Chisq)  

gca_mod_ss_base 36 35005 35249 -17467 34933 gca_mod_ss_coda_0 37 35007 35257 -17466 34933 0.1980 1 0.65635 gca_mod_ss_coda_1 38 35009 35266 -17466 34933 0.1279 1 0.72067 gca_mod_ss_coda_2 39 35009 35273 -17466 34931 1.8109 1 0.17840 gca_mod_ss_coda_3 40 35007 35277 -17463 34927 4.3673 1 0.03663 *

Es decir, un efecto de coda en el cubic term. Pero en la tabla, el efecto me sale en el linear term Parameter Estimate SE t p Intercept (γ00) 1.176 0.214 5.497 < .001 Time1 (γ10) 5.421 0.746 7.262 < .001 Time2 (γ20) −1.372 0.396 −3.464 < .001 Time3 (γ30) −1.677 0.297 −5.644 < .001 Syllable structure (γ01) −0.185 0.105 −1.773 .076 Time1 × Syllable structure (γ11) 0.819 0.375 2.183 .029 Time2 × Syllable structure (γ21) 0.424 0.240 1.769 .077 Time3 × Syllable structure (γ31) −0.251 0.161 −1.553 .121 ¿Cómo arreglo esto?

A ver si entiendo bien. En la tabla final (de este artículo) los parameter estimates difieren de los de la tabla final del artículo de BLC, ¿no? Si esto es lo que quieres decir, no pasa nada. Es otro modelo con una variable más (wm) entonces todo tiene que cambiar. Si esto no es lo que quieres decir, etnonces creo que no entiendo. Tendrás que darme más detalle.

Sí, hay alguna diferencia entre los resultados de la tabla de BLC y esta tabla (para LL). El problema que tengo es que en el script para LL partí del modelo completo de BLC. ¿Entonces qué hago para reportar el nested model? En BLC, tenía:

efecto en el nested model en linear quadratic term -> significant X en la tabla en quadratic time term Ejemplo: There was a main effect of lexical stress on the quadratic time term (χ2(1) = 4.4, p = .036). Averaging over syllable structure, a change from paroxytonic (e.g., LAva) to oxytonic (e.g., laVÓ) stress decreased the bowing of the trajectory at the center of the time course (γ22 = 0.666; SE = 0.305; t = 2.184; p = .029) indicating that monolinguals fixated on oxytonic targets earlier than paroxytonic targets.

Pero aquí no tengo efecto del nested model para lexical stress y syllabic structure (o sea, tengo exactamente lo de BLC). Si pongo lo mismo que para BLC, no se corresponde con lo de la tabla. Y me quedaría algo así

efecto en el nested model en quadratic quadratic term -> significant X en la tabla en cubic time term

jvcasillas commented 4 years ago

Mmm... con los intérpretes me sale una cosa diferente que no sé muy bien cómo interpretar. Los efectos son estos: Time1 × Lexical stress × Group IN:Working memory (γ37) 0.684 0.301 2.273 .023 Time2 × Lexical stress × Group IN:Working memory (γ210) 0.772 0.299 2.580 .010 Para paroxytone, los que tienen menos WM empiezan mirando más hacia el target y justo antes del offset se dan la vuelta y los que tienen más WM empiezan a predecir más? No entiendo muy bien qué significa. Las líneas están bastante juntas en las dos condiciones, solo es que en paroxytone se dan la vuelta. stress_wm_int

En este caso creo que el efecto no es "real". Recuerdo que en los gráficos de los datos crudos que había momentos en que los time course fixations estaban por encima de 50% por la cara (y mucho antes de tener la información necesaria para tomar una decisión). En este caso lo que puedes hacer es quitar 100ms del comienzo del time course... o sea un subset que quite la parte de la izquierda del gráfico. ¿Tiene sentido?

Creo que no me expliqué bien. No me refería a la parte izquierda del gráfico, sino a los efectos de WM en la condición paroxítona (azul). ¿Ves que se cruzan high y low WM justo antes del intercept? ¿Ese es el efecto que sale, no? Al principio, para la curva azul, los low WM están por encima, pero eso cambia justo antes del intercept y luego la curva de high WM sale por encima. Entonces yo lo que entiendo es que algo pasa con WM y la condición paroxítona, pero no sé qué es ese algo 😂

Ah ya entiendo. Son los de high wm que remontan (steeper slope, faster to target), no?

crislozano commented 4 years ago

Ah ya entiendo. Son los de high wm que remontan (steeper slope, faster to target), no?

Exacto

crislozano commented 4 years ago

Le expliqué a Nuria los resultados que nos salieron y para ella sí que tienen sentido. En monolingües e intérpretes, vemos que WM solo important en la condición difícil (y nos sale el efecto de siempre de los intérpretes esperan y luego van más rápido). Para los no-intérpretes, esto es demasiado difícil, entonces las diferencias en WM solo aparecen en la condición fácil. Non-interprerters with lower WM can only handle one option in their mind and because they don't contemplate other options, they make a decision faster.

Hasta mediados de febrero no me pondré a terminar de escribirlo, pero parece que habemus explicación.

jvcasillas commented 4 years ago

Interesante. Lo voy a pensar más, pero parece convincente. Nuria tiene talento para eso.

crislozano commented 4 years ago

Hola, Joseph:

Acabo de escribir la sección de resultados de este artículo (no probé a hacer knit y seguro que hay algo que no funciona, pero ahora quería centrarme en que tengan sentido y los haya interpretado bien). ¿Podrías echarles un vistazo? Por ahí en medio verás el resumen de todos los efectos significativos y algún apunte sobre la explicación que encontramos la última vez que hablamos, que me imagino que te ayudará.

Aquí están los gráficos que tenemos, en wm_mess están los individuales de grupo para poder interpretar las interacciones.

Gracias,

Cris

crislozano commented 4 years ago

Hola, Joseph:

Tenía alguna pregunta que estaba en el documento y había puesto MISSING INTERPRETATION porque no sé cómo interpretarlo.

Estas son las preguntas que tengo:

1. ¿Cómo describo el cubic effect? (tengo la primera parte que es para el linear term)

Time2 × Lexical stress (γ22) 0.575 0.241 2.386 .017 DONE Time3 × Lexical stress (γ32) −0.579 0.161 −3.587 < .001 MISSING

Also, there was a main effect of lexical stress on the quadratic time term (r pretty_chi_result(nested_model_comparisons_wm$ss_cond_anova, "gca_mod_ss_cond_2")), showing that a change from paroxytone to oxytone increased the steepness of the slope (r report_row("22")) and MISSING CUBIC EFFECT HERE (r report_row("32")).

2. ¿Cómo interpreto lo que significa ese mismo cubic effect?

This indicates that monolinguals started to fixate on oxytone targets earlier in the time course than on paroxytone targets and MISSING INTERPRETATIONS OF THE CUBIC.

3. ¿Cómo describo e interpreto esta interacción en el cubic term?

Time3 × Syllable structure × Lexical stress (γ35) −0.491 0.226 −2.172 .030 MISSING

Lexical stress and syllabic structure had a significant interaction on the cubic term (r report_row("35")), suggesting that MISSING INTERPRETATION OF THE INTERACTION.

4. El estimate value en el linear term sale negativo y el cubic term positivo y me confunde. ¿Falta una explicación más aquí? Solo tengo una interpretación y hay dos efectos

Time1 × Syllable structure × Lexical stress × Group IN (γ28) −0.671 0.281 −2.384 .017 Time3 × Syllable structure × Lexical stress × Group IN (γ39) 0.846 0.277 3.052 .002

There was also an interaction of syllabic structure and lexical stress on the linear time term (r report_row("28")) and the cubic time term (r report_row("39")), such that the slope was steeper for the interpreters' group in the CVC paroxytone condition (e.g., FIRma). Thus, interpreters started to predict later but did so at a faster rate in CVC paroxytones. I'M NOT SURE ABOUT THIS INTERPRETATION BECAUSE THE ESTIMATE FOR THE LINEAR IS NEGATIVE, BUT FOR THE CUBIC IS POSITIVE

Gracias,

Cris

jvcasillas commented 4 years ago

Hola. Leí tu comentario original y revisé todo en github. O sea lo que veía era esto:

Screen Shot 2020-03-19 at 10 35 18

La única pregunta que vi era "IM NOT SURE ABOUT THIS INTERPRETATION" y como dije originalmente me parece bien. Ahora veo que a veces tienes una frase por línea y otras no y que había otras preguntas más a la derecha. Culpa mía. A ver...

  1. time3 x lexical stress: At avg. wm the time3 x lexical stress effect is different with respect to the intercept. The intercept, if I remember correctly, is natives at avg. wm, averaging over syllable structure and lexical stress. This is the same as all the other times we've done this, right? Why can't you follow the other examples? Maybe be more specific about why this is causing you problems and how it is different from before? When you say missing I assume you mean that you haven't interpreted the effect, and not that that particular model is missing. Right?

  2. Really the same as above. A cubic effect means two inflection points are different (more inflected or less depending on the coefficients) with regard to whatever you are comparing. If one growth curve has sharper, more inflected vertices than another, then the shift occurs faster (essentially at a steeper slope). This refers to rate of fixation. If, in comparison to another effect the cubic effect is smaller (less sharp inflection points) then the rate is slower and target fixation may occur earlier (you have to check the plots). If you have a cubic time effect in conjunction with a fixed effect (i.e., time3 x FACTOR) then it is the same as I just mentioned as a function of the factor... it is a two way interaction. I know you know this, but I am repeating it just to be sure.

  3. Same as above, but now it is 3-way.

  4. Linear time term is slope de toda la vida. If the coefficient is negative, then the slope is less steep than whatever you are comparing it to (probably natives, right?). If the cubic time term has a position coefficient then then bowing is lesser/greater than whatever you are comparing it to (i don't recall the specific of the directionality, check the page in the GCA book if necessary or check the plots). In this case, where both are true, the interpretation holds. You really have to check to the plots to guide you. I think you can do this just fine.

Siento el malentendido en cuanto a lo que me estabas pidiendo. Me imagino que estás bastante frustrada y lo comprendo. Creo que entiendes tus datos mejor que nadie y tienes la información que te hace falta para responder estas preguntas.

crislozano commented 4 years ago

¡Gracias! Que no te había contestado. Creo que está, cuando te mande el capítulo entero ya verás si hay algún lío gordo por ahí. Estamos todos en modo survival, no te preocupes ¿qué tal la mudanza?

Estoy intentando compilar el documento y estoy atascada en un error que me da la sección de resultados

Captura de pantalla 2020-03-27 23 08 50

Aquí está el máster Aquí está la sección de resultados Aquí está el doc que usaste para hacer las tablas de este experimento (por si las moscas)

¿Se te ocurre cuál puede ser el problema?

jvcasillas commented 4 years ago

Hola,

Todo bien por aquí. Es un lío... la mudanza... un coñazo pero mola estar en un sitio diferente. Esto de trabajar desde casa es casi imposible si Alicia no está en la guarde (no va desde hace dos semanas). En fin, me está costando ser productivo, pero por lo menos no estamos enfermos. ¿Qué tal tu familia? La familia de Ro bien, pero tengo varios amigos y colegas (4!) en Madrid que pillaron el corona virus y lo están pasando mal. Buff. Ojalá salgamos de esto pronto. En fin...

El error que te sale tiene que ver con los nombres que has usado en los modelos de wm. Como has usado el código del artículo anterior, que tenía modelos con diferentes nombres, tienes que actualizarlos en el artículo nuevo. Específicamente, el primer error viene en la línea 110:

`r pretty_chi_result(nested_model_comparisons_wm$ss_cond_anova, "gca_mod_ss_coda_3")`

La lista nested_model_comparisons_wm no cuenta con un dataframe ss_cond_anova. Las opciones que tienes son estas:

Screen Shot 2020-03-30 at 22 16 19

Ves ahí lo que buscas? Si no, me imagino que no has guardado lo que necesitas o no lo estás subiendo al principio del script.

I also noticed you call this inline chunk for reporting model predicted probabilities.

`r target_offset_prob(group = "M", coda = 1, cond = 1)`

This isn't giving you an error yet, but it will because the function is calling a dataframe (model_preds$target_offset_preds) that doesn't exist. You have saved in the environment model_preds_wm, which, I assume, is what you want.

jvcasillas commented 4 years ago

Hola Cris,

Voy a comentar aquí aunque en verdad no sé si va a ser mucho lío con todo lo que hay arriba también. Bueno, podemos crear otro issue si hace falta. A ver...

He terminado de hacer el "análisis" y he hecho unos plots. Esta es la idea: el análisis del artículo de language learning (LL) es el análisis de BLC más una cosita... añadimos WM. Bien. Entonces, si tomamos el último modelo de BLC como punto de partida, sólo añadimos working memory (wm_std) al modelo (como fixed effect y con una pendiente aleatoria para subj). Esto significa:

(1) que todos los parameter estimates que tenemos para fixed effects (stress, syllable structure) se estiman cuando wm == 0 (el promedio de todos los participantes) y (2) que todos los estimates de fixed effects serán diferentes (pero similares) a los del último modelo de BLC (porque ese modelo no tiene en cuenta WM) y (3) que tenemos parameter estimates de WM para cada subj. (random effects, cada valor representa la diferencia entre el WM de ese individuo y lo que el modelo estima para el fixed effect

Al añadir WM al modelo no hay un efecto principal (i.e., cuando haces model comparisons via anova). Es decir, WM no tiene un efecto "significativo" con respecto a target fixations durante el time course....

PERO

sí hay una correlación entre los efectos aleatorios de WM y el quadratic time term. La interpretación de esta correlación es compleja (llevo semanas intentando decidir si esto tiene sentido) y hay que andar con cuidado. En pocas palabras viene significando algo tipo... en general wm no afectó a target fixations (no hay efecto principal), pero las personas para las cuales WM es más importante para target fixations (individual differences), vemos que también tienen parameter estimates más altos de ot2. O sea, if WM is useful for you, you are also probably one of the people with high ot2 (more bowing at the center of the time course). More bowing at the center of the time course is interpreted as faster target fixation, right? Make sense?

Échale un vistazo a 14_wm_re_analysis.R para ver el modelo. Está guardado como full_mod_lang_learn_wm.Rds, así que no tienes que volver a ejecutar ese código si no quieres. Puedes usar readRDS para cargarlo. Los plots están en figs > stress > s3_adv_int_nat > eye_track (creo que s'olo usaríamos stress_re_p3).

Ahora, ¿qué hay que hacer?

  1. actualizar la tabla principal (siempre un coñazo si no recuerdo mal) usando el model de full_mod_lang_learn_wm.Rds
  2. reescribir los resultados (esto implica borrar bastante, me imagino, pero será muchísimo menos complejo) añadiendo un par de frases explicando lo que comento arriba ("en general wm no afectó a target fixations (no hay efecto principal), pero...", pero dicho de forma bonita)
  3. creo que no hay 3. Se me olvida algo?

He escrito todo esto bastante rápido. Espero que tenga sentido. Si no, me avisas. Intenta hacer 1 y 2 lo mejor que puedas y me dices si necesitas ayuda.

crislozano commented 3 years ago

Por fin volví a este paper. Llevo un par de días mirando el código y los gráficos. Y tengo varias preguntas sobre la explicación que propones:

las personas para las cuales WM es más importante para target fixations (individual differences), vemos que también tienen parameter estimates más altos de ot2.

¿Qué quiere decir WM es más importante? Miré en el libro de Mirman (p.159 empieza lo de individual differences as random effects) y veo que dice

indicating that participants who showed larger X effects tended to show smaller Y effects

Imagino que tenemos algo similar aquí, pero lo que no entiendo bien es que significaría "larger WM effects" ¿son los que tienen más WM? ¿podemos saber quiénes son esos?

Interpretaste more bowing como faster prediction (aunque aquí te puedo hacer la pregunta que me hiciste el día de la defensa, what do you mean by faster? jajaja). Además de faster, sería later in the time course. Si fuesen los que tienen más WM, yo le veo sentido, porque si tienes más WM, puedes retener más información y esperar para procesarla. Eso sí, una vez tienes toda la info que necesitas, la procesas más rápido. Voy a mandarle un resumen de todo esto a Nuria, para ver qué piensa ella.

jvcasillas commented 3 years ago

Por fin volví a este paper. Llevo un par de días mirando el código y los gráficos. Y tengo varias preguntas sobre la explicación que propones:

las personas para las cuales WM es más importante para target fixations (individual differences), vemos que también tienen parameter estimates más altos de ot2.

¿Qué quiere decir WM es más importante? Miré en el libro de Mirman (p.159 empieza lo de individual differences as random effects) y veo que dice

Buena pregunta. Desde luego "importante" no es la palabra más adecuada.

indicating that participants who showed larger X effects tended to show smaller Y effects

Imagino que tenemos algo similar aquí, pero lo que no entiendo bien es que significaría "larger WM effects" ¿son los que tienen más WM? ¿podemos saber quiénes son esos?

Los random effects de WM son las desviaciones de cada participante de la estimación del parámeter WM (fixed effect) del model. O sea, si el efecto principal (fixed effect) de WM es 0, cada participante tendrá una estimación de cuánto varía de 0 (por encima o por debajo). Entonces, las personas que tenían estimaciones más altos (i.e., por encima de 0 en nuestro ejemplo) tendían a tener valores de ot2 más altos también.

Interpretaste more bowing como faster prediction (aunque aquí te puedo hacer la pregunta que me hiciste el día de la defensa, what do you mean by faster? jajaja). Además de faster, sería later in the time course. Si fuesen los que tienen más WM, yo le veo sentido, porque si tienes más WM, puedes retener más información y esperar para procesarla. Eso sí, una vez tienes toda la info que necesitas, la procesas más rápido. Voy a mandarle un resumen de todo esto a Nuria, para ver qué piensa ella.

Esa explicación tiene sentido. No sé si son las mismas personas con más WM (según la tarea que les diste) pero eso sería bonito. Es fácil saber cuáles son. La función ranef te da las estimaciones de todos los efectos aleatorios del modelo. Sería cosa de coger las estimaciones de WM y compararlas con los valores de la tarea (y ~ x scatterplot).

crislozano commented 3 years ago

Madre mía, qué verde estoy con R, tengo que ponerme a practicar. Yo no veo nada aquí... ¿tú?

image

jvcasillas commented 3 years ago

No veo nada tampoco. Lo que entiendo de esto entonces es que tener más WM no quiere decir que uses tu WM... o algo así. Tiene sentido para ti? Quizá Nuria tendrá algo que decir.

crislozano commented 3 years ago

Se lo mandé a Nuria y ella tampoco ve nada. Tal y como está ahora y para continuar avanzando, creo que lo mejor es enviarlo con lo que tenía en la tesis. Voy a revisarlo esta semana y os envío un email con posibilidades de journals (no será language learning). Si prefieres que hablemos, avísame.