search

pthane / QP-Data

0 stars 0 forks source link

Aspect Distractors #2

Open pthane opened 3 years ago

pthane commented 3 years ago

Hola @jvcasillas ,

Espero que todo bien. Te escribo porque he preparado todos mis estímulos y ya son muchos. Mi preocupación es que si mantuviera todos, agobiaré a mis participantes. He reducido la cantidad de ítems en cada tarea para que tenga 20 para el subjuntivo, 20 distractores relacionados con el aspecto, y 10 fillers. Al hacerlo, tengo otra preocupación de que todos los 20 ítems para el subjuntivo requieren la morfología subjuntiva (y no indicativa), y todos los distractores para el aspecto requieren el pretérito (y no imperfecto). Sólo hay 5 fillers con el indicativo y 5 con el imperfecto. ¿Es suficiente tener 10 fillers en total? o ¿hace que los resultados el experimento sean demasiado predecibles? Personalmente creo que si disperso los 10 fillers de manera apropiada, mantendrán que el participante atienda a lo largo del experimento, pero quisiera tu perspectiva sabiendo mucho sobre el diseño experimental. ¡Muchas gracias!

jvcasillas commented 3 years ago

Hola @jvcasillas ,

Espero que todo bien. Te escribo porque he preparado todos mis estímulos y ya son muchos. Mi preocupación es que si mantuviera todos, agobiaré a mis participantes. He reducido la cantidad de ítems en cada tarea para que tenga 20 para el subjuntivo, 20 distractores relacionados con el aspecto, y 10 fillers.

¿cuál es la diferencia entre un distractor y un filler es tu estudio?

Al hacerlo, tengo otra preocupación de que todos los 20 ítems para el subjuntivo requieren la morfología subjuntiva (y no indicativa), y todos los distractores para el aspecto requieren el pretérito (y no imperfecto). Sólo hay 5 fillers con el indicativo y 5 con el imperfecto. ¿Es suficiente tener 10 fillers en total? o ¿hace que los resultados el experimento sean demasiado predecibles? Personalmente creo que si disperso los 10 fillers de manera apropiada, mantendrán que el participante atienda a lo largo del experimento, pero quisiera tu perspectiva sabiendo mucho sobre el diseño experimental. ¡Muchas gracias!

No creo que sea posible tomar esta decisión basándote en números. Igual tienes que pilotearlo con un par de personas y preguntarles después si era obvio lo que buscabas. Así también te haces una idea de cuánto van a tardar y puedes determinar si puedes incluir más ítems.

pthane commented 3 years ago

Hola Joseph,

¿cuál es la diferencia entre un distractor y un filler es tu estudio?

No creo que sea posible tomar esta decisión basándote en números. Igual tienes que pilotearlo con un par de personas y preguntarles después si era obvio lo que buscabas. Así también te haces una idea de cuánto van a tardar y puedes determinar si puedes incluir más ítems.

I was afraid you were going to say that… :). Claro, los materiales están en un período de pruebas. Me aprobaron el IRB pero propuse unas modificaciones, entonces de momento voy a repartir mis tareas a algunos participantes. Tiene sentido preguntarles si se les ha ocurrido algo durante el experimento, o si sus juicios fueron espontáneos. De todas maneras, quería asegurarme de que no cometiera ningún fallo metodológico al no incluir más fillers en mis estímulos.

jvcasillas commented 3 years ago

Hola Joseph,

¿cuál es la diferencia entre un distractor y un filler es tu estudio?

  • Distractor: ítem que es útil para un paper futuro pero que no contribuye a las preguntas actuales (i.e. morfología de pretérito).
  • Filler: ítem que va intercalado entre los demás para que el participante no se fije en un patrón fuerte; no tiene peso metodológico.

Gracias. Sé lo que son. :) Quiero saber cómo tus distractors se diferencian de tus fillers en cuanto al contenido.

No creo que sea posible tomar esta decisión basándote en números. Igual tienes que pilotearlo con un par de personas y preguntarles después si era obvio lo que buscabas. Así también te haces una idea de cuánto van a tardar y puedes determinar si puedes incluir más ítems.

I was afraid you were going to say that… :). Claro, los materiales están en un período de pruebas. Me aprobaron el IRB pero propuse unas modificaciones, entonces de momento voy a repartir mis tareas a algunos participantes. Tiene sentido preguntarles si se les ha ocurrido algo durante el experimento, o si sus juicios fueron espontáneos. De todas maneras, quería asegurarme de que no cometiera ningún fallo metodológico al no incluir más fillers en mis estímulos.

En este tipo de estudio no creo que sea muy muy importante, pero de todas formas siempre es bueno pilotear y tener feedback de alguien. Me parece que vas por buen camino.

pthane commented 3 years ago

Gracias. Sé lo que son. :) Quiero saber cómo tus distractors se diferencian de tus fillers en cuanto al contenido.

Jajaja pues me alegra de que te haya podido recordar… That was a genuine answer on my part, not a smartass comment, pero ahora me pone a reír. Bueno. El tema del QP es la frecuencia léxica del subjuntivo. Entonces tengo 20 ítems de subjuntivo. Después los distractores son 20 ítems de iteración con morfología pretérita. Pienso usar éstos para otro paper si puedo. Luego tengo 5 fillers de indicativo y 5 fillers del imperfecto para intentar balancear el estudio. Tenía 10 y 10 antes, pero me preocupa que el estudio se alargue demasiado. Silvia dice que los ítems experimentales deberían componer entre 33% y 50% de los estímulos (lo que he leído en varios sitios), así que en teoría voy bien. I guess the only way to find out is to pilot it as you say.

En este tipo de estudio no creo que sea muy muy importante, pero de todas formas siempre es bueno pilotear y tener feedback de alguien. Me parece que vas por buen camino.

Muchas gracias :)… Solo por curiosidad, si haces piloto, ¿con cuanta gente interactúas? Tengo unos varios que me lo hacen en Madrid como piloto y conseguí unos 15-20 para el primer piloto, pero creo que algo tipo 8-10 me daría una buena idea.

jvcasillas commented 3 years ago

Gracias. Sé lo que son. :) Quiero saber cómo tus distractors se diferencian de tus fillers en cuanto al contenido.

Jajaja pues me alegra de que te haya podido recordar… That was a genuine answer on my part, not a smartass comment, pero ahora me pone a reír. Bueno. El tema del QP es la frecuencia léxica del subjuntivo. Entonces tengo 20 ítems de subjuntivo. Después los distractores son 20 ítems de iteración con morfología pretérita. Pienso usar éstos para otro paper si puedo. Luego tengo 5 fillers de indicativo y 5 fillers del imperfecto para intentar balancear el estudio. Tenía 10 y 10 antes, pero me preocupa que el estudio se alargue demasiado. Silvia dice que los ítems experimentales deberían componer entre 33% y 50% de los estímulos (lo que he leído en varios sitios), así que en teoría voy bien. I guess the only way to find out is to pilot it as you say.

Sí esa referencia es bastante útil. Depende un poco del estudio que hagas. Nuria, por ejemplo casi siempre tiene 2/3 de distractores.

En este tipo de estudio no creo que sea muy muy importante, pero de todas formas siempre es bueno pilotear y tener feedback de alguien. Me parece que vas por buen camino.

Muchas gracias :)… Solo por curiosidad, si haces piloto, ¿con cuanta gente interactúas? Tengo unos varios que me lo hacen en Madrid como piloto y conseguí unos 15-20 para el primer piloto, pero creo que algo tipo 8-10 me daría una buena idea.

Depende de las dudas que quieras resolver al pilotearlo. Si es para determinar cuánto tiempo tardan en hacerlo no necesitas muchos participantes... entre 5-10 (como mucho).