Open leonsuetfeld opened 5 years ago
Ist es vllt. problematisch, dass es eine 1:1 Korrespondenz zwischen sex und sn_idx gibt?
Genau das ist das Problem. "Sex" ist ein between subject faktor. Du kannst ja keine Random-Slope berechnen, dafür müsstest du "sex"=male und "sex"=female in der gleichen VP gemessen haben. Dementsprechend würde man "sex" und alle interaktionen davon aus der zweiten Klammer rauslassen.
(1 + visonset_left + sex_diff + young_diff + elderly_diff)*speed*abstraction +
(visonset_left + sex_diff + young_diff + elderly_diff)*sex +
((1 + visonset_left + sex_diff + young_diff + elderly_diff)*speed*abstraction | sn_idx)
Der effekt von alter wird sehr sehr schwierig in das Model reinzubringen sein. da wir keine Ahnung haben, welche "Form" der Effekt haben sollte, kann man es natürlich mit einem linearen Effekt versuchen, der wird aber sicherlich nicht die wahre Form beschreiben. Quadratische Effekte, cubische, logarithmische,alles denkbar. 85 Datenpunkte werden da denke ich nicht ausreichen.
Ich würde das Datenset reinnehmen, es ist sehr nahe dran, man kann einfach plots kombinieren (und etwaige unterschiede diskutieren).
Beim plotten ist mir aufgefallen, dass die fixed-effects viel stärkere Effekte implien als die plots.
z.B. hier:
Es würde sicherlich viel Sinn machen, beide Datensets in den gleichen Figures zu packen, so dass man eine bessere intuition bekommt was gleich/unterschiedlich ist.
Die großen Effektgrößen machen mich immernoch sehr stutzig. Und damit sehr schwer zu interpretieren
Age Ich sehe zwei Möglichkeiten: (1) Da wir keine Ahnung haben, was für eine Form so ein Effekt haben würde, erst mal das einfachste annehmen (also linear) und schauen ob es nen Effekt gibt. Das Ergebnis reporten und einschränken, dass wir nur nach linearen Effekten geschaut haben, und eben keine verlässliche Aussage über etwaige non-lineare Effekte treffen können. (2) Alle VPs auf zwei Eimer aufteilen, einen für die jüngere Hälfte und einen für die Ältere. Das ist unpräzise, würde starke Effekte aber wahrscheinlich dennoch aufzeigen. Wir müssten wenn wir nichts finden natürlich diskutieren, dass wir insgesamt nur eine kleine Age-Range hatten und was auch immer rauskommt nur als Hinweis zu verstehen ist. (Das wäre dann wieder ne -0.5/0.5 codierung für das Alter).
Fixed Effects Fixed-Effects sind die Population-Level Effects? Sorry, ich bin mit dem Vokabular nicht so vertraut :) Ich bin auch noch nicht ganz sicher was ich in dem Plot erkennen soll, den du gepostet hast. Können wir vllt. noch mal Skypen heute? Wenn nicht müssten wir vermutlich doch hier in den Issues Kommunizieren, da morgen und Samstag bei mir ziemlich voll sind.
Effektgrößen Mögliche Erklärung im anderen Issue.
Age
Linear können wir machen. Aufteilen in zwei Eimer würde ich nicht machen. Eher würde ich einen nichtlinearen spline effekt fitten. Das geht sehr einfach:
e.g. choice~1+t2(age)*sex_diff
Fixed Effects Ja, das sind die means der populations level. Was ich bei dem Plot meinte, obwohl die fixed effects irgendwas bei -6 sind, (d.h. exp(-6) => odds=0.0024 => prob ~0.0024%*) sind die means der effekte eher bei ~80%. Das verwundert mich noch etwas
Fixed Effects Ich glaube was du hier ansprichst ist das, was ich im anderen Issue diskutiere, dass die Population-Effects so groß werden im Multilevel-Model.
und meinst du nicht odds = 0.0024 => prob ~0.24% ?
Age Ich glaube ich würde es lieber bei linearen Effekten belassen, um die Leser nicht völlig zu überfordern. Ich denke zwar, ich verstehe wie so ein spline fit aussehen könnte, aber wenn der groß von linear abweicht, dann wäre es so oder so schwierig zu interpretieren, oder? Gerade bei der kleinen Range an Age in unserem Datensatz.
Edit: Ich halte den ersten Post jetzt aktuell, damit der als Referenz dient.
FIxed Effects ja, sorry 0.24% :)
Age Interpretation ist ok schwierig, im logistischen kontext natürlich noch viel mehr. Man kann sich aber die marginal effects plotten und anschauen. Besser als categorisieren. WIr könnens einfach mal fitten und schauen ob eine komplexe shape rauskommt oder nicht
Schau mal oben in meine Interpretation des "vollen" Models (ist auch noch ne Frage mit drin). Das würde ich gerne als einziges reporten für den zweiten Datensatz. Man hat da meiner Meinung nach eine schöne Übersicht darüber was die results wie beeinflusst, und mehr brauchts meiner Meinung nach auch nicht.
Coding der Conditions Frage: Es gibt ja ziemlich eindeutige Effekte von speed. Da die Probanden in der schnellen Condition ziemlich hohen Zeitdruck hatten, ist hier davon auszugehen, dass relativ viele Fehler passiert sind (also Noise auf den Daten ist), und dadurch die Parameter schwächer ausfallen. Für die Interpretation und Argumentation sehe ich es als sinnvoller an, speed 0/1 zu coden, so dass die Haupteffekte der langsamen Bedingung entsprechen, und die ":speed" parameter dann dazu addiert werden, um die Werte für die schnelle Bedingung zu erhalten.
Gleichzeitig kann man dann auch bei der Abstraction drüber Nachdenken, ob man auch da eine Haupt- und eine beeinträchtigte Condition sieht. Da würde ich aber eher sagen nein, denn es ist nicht von vornherein klar, in welche Richtung das ganze ausfallen würde, und ob eines davon eine Beeinträchtigung darstellt.
Hältst du es für ok, die eine condition im 0/1 coding, und die andere im -0.5/+0.5 coding rein zu nehmen?
Ja das passt und klingt vernünftig. Ich finde es dann wichtig in der Ergebnis-Figure/Tabelle ganz unten ganz klein hinzuschreiben wie die Faktoren codiert waren. Das habe ich schon in andern Papern gesehen und fand ich da top :)
Den Code habe ich hochgeladen, muss die Labels an den Histogrammen aber noch ändern. Mache ich evtl. noch im Laufe des Abends.
etwas überarbeitet für bessere lesbarkeit
So Github ging bei mir nicht. Kurzer Kommentar dazu, ich würde immer diesselben skalen verwenden, aber das kann ich gleich noch fixen versuchen :-)
ja, ich hatte damit ein bisschen rumgespielt, aber das beste ist wohl einfach die xticks zu ändern. muss nur noch schauen wie.
Hey,
ich muss immer noch mit Gordon darüber reden, ob wir den zweiten Datensatz mit in das Paper nehmen, aber ich denke es kommt auch ein bisschen darauf an, wie interessant das ist was da raus kommt. Ich habe den Datensatz mit dem entsprechenden Analyse-File ins Repo gepackt.
Es ist sehr ähnlich zum ersten Datensatz, nur gibt es statt der Modality jetzt zwei verschiedene time-constraints (4.4s wie gehabt, 1.4s in der schnellen Bedingung), und alle Probanden sind alle Bedingungen durchlaufen. Dazu sind es wesentlich mehr human vs. human Daten, also deutlich kleinere Varianzen im Fit.
Was ich anhand dieses Datensatzes finden möchte, ist, ob folgende Eigenschaften auf Seite der Probanden einen Einfluss auf die Entscheidungen (also Parameter des Models) haben: 1) Alter 2) Geschlecht 3) Fahrerfahrung (wobei das stark mit Alter korreliert - eher weg lassen, falls das problematisch ist) 4) Videospiel-Erfahrung 5) SDS17 Score (Social Desirability Scale, misst wie sehr Probanden dazu neigen, sich in Fragebögen etc. besser darzustellen als sie eigentlich sind)
Fangen wir also einfach an.
Single Level Model
läuft, keine Probleme.
Multi-level model wie beim ersten Datensatz
läuft auch. Ähnliche Parameter wie beim anderen Datensatz auch:
Ein paar interessante Beobachtungen:
Sex als zusätzlichen Predictor Ich habe sex als -0.5 / +0.5 gecodet wie sonst auch die conditions, und wollte es aber nur als Hauptfaktor im Model haben, nicht alle Interactions auch noch mitnehmen (da ich denke, dass es sonst extrem viele Parameter werden, sobald wir das für alle fünf neuen Faktoren machen):
Folgende results:
Ein Effekt ist hier zu sehen: Geschlecht "+0.5" (male) hat einen absolut größeren Effekt für elderly_diff, d.h. Männer neigen mehr als Frauen dazu, elderly people zu opfern.
Age, SDS-score und video game hours per week als zusätzliche Predictors Ich fitte jetzt mal das komplette model mit allen Zusatzfaktoren (sex, age, video games, SDS) als Haupteffekte ohne Interaktionen. Man muss ja nicht jede weitere Variable einzeln einführen:
Results:
Meine Interpretation: Age: