Figures Paper

[leonsuetfeld]

Hey Bene,

hier ist das was ich mit Gordon besprochen habe:

Grundsätzliches: Durchaus immer beide Studien in einen Plot zusammen plotten. Die Unterteilung in Figures 1-6 soll jetzt nicht bedeuten dass alle getrennt voneinander ins Paper sollen, die könnte man wiederum bündeln, wo sinnvoll fürs Layout.

Figure 1: schon im Overleaf, erklärt die Conditions

Figure2: Eine Datenfigure (also deskriptiv), ggf. mit mehreren Subplots. Da würde ich vorschlagen:

1. subplot: percentage saved von young, adult, elderly, und jeweils die 4 conditions nebeneinander in den selben plot (study 1)
2. subplot: percentage saved male & female nebeneinander, auch jeweils alle 4 conditions nebeneinander (study 1)
3. • 4. das gleiche für study 2? Insgesamt also 4 subplots nebeneinander, ein mal quer über die Seite. Oder hast du da bessere Vorschläge? Es sollten halt beide Studies in einen Plot.

Figure 3: Nur die population level main effects (rot in den Figures), von beiden Studien direkt übereinander geplottet wie du es vorgeschlagen hast. also 5 Whiskers *2. Daneben die Histogramme über Verteilung der Parameterwerte über unsere Subjects, also wie in der aktuellen Figure für Study 1, nur dann am besten auch irgendwie beide ineinander, würde ich sagen.

Figure 4: Alles anderen relevanten Prädiktoren. Links: Conditions, d.h. Abstraction (hier wieder doppelte whiskers da wir das ja in beiden Studien hatten), Modality und Speed (jeweils nur in einer Studie erhoben). Sollten 19 whiskers auf 14 Zeilen sein. Interactions zwischen Abstract und Modality bzw. Abstract und Speed nur in den Appendix. Rechts: die Subject-spezifischen Prädiktoren sex, age, video game consumption, SDS17 score. Hier evtl. für die Übersichtlichkeit video game consumption rauswerfen und das nur im Text berichten? Wären 20 whiskers mit bzw. 15 whiskers ohne video game consumption.

Figure 5: EDA figure, im prinzip ist die fertig, da kümmer ich mich rum (daten in Python).

Figure 6: Eine einfach zu interpretierende, prägnante Figure, die die Main Effects zeigt, oder so. Gordon möchte sowas drin haben. Kann ich mich allein drum kümmern denke ich ;-)

[behinger]

Ok cool!

Direkt ne Frage zu dem Datenplot Figure 2 möchtest du "-1" und "1" gemergt haben (und 0 ignoriert)? d.h. pro predictor zeig ich quasi nur einen Wert?

[leonsuetfeld]

Figure 2 Genau, das war die Idee, damit man young, adult und elderly in einen plot kriegt. Sollte dann auf die "total percentage saved" (über alle anderen Faktoren hinweg) hinaus laufen. Ich denke das reicht für einen Eindruck von den Daten.

[behinger]

Möchtest du von study=2 mres_full oder mres_sex...everything in dem Plot haben?

[leonsuetfeld]

Letzteres macht glaube ich mehr Sinn oder? Pro Studie genau ein Model fitten und das reporten. Das andere kann dann auch aus dem Code fliegen meiner Meinung nach.

[behinger]

Figure 2

Noch nicht ganz fertig, aber ich habe leider kaum mehr Zeit. Ich kann erst Dienstag/Mittwoch weitermachen - sorry. So in der Art wollte ich das machen. Script: data_plotting.R

[behinger]

Figure 3 Ich muss noch die beiden plots hier besser kombinieren:

mit den single subject estimates

Irgendwie plottet er die noch unorderntlich durcheinander. Aber von der Idee her könnte das sogar funktionieren!

FRAGE Sehe ich das richtig, dass wir nirgends interactions plotten?

[leonsuetfeld]

Korrekt. Gordon will alles raus schmeißen, das nicht so wichtig ist, und bei den Interactions passiert ja nix.

[behinger]

Jein, die Message wir wissen es nicht ist ja auch ne Message. Zumindest Supplement würde ich das Reporten. Ich weiß das Peter das auch anders sieht aber die stehen ja nur hinten drauf ;)

Am 12. September 2018 23:01:41 MESZ schrieb Leon Suetfeld notifications@github.com:

Korrekt. Gordon will alles raus schmeißen, das nicht so wichtig ist, und bei den Interactions passiert ja nix.

-- You are receiving this because you commented. Reply to this email directly or view it on GitHub: https://github.com/leonsuetfeld/moraldm/issues/4#issuecomment-420796358

[leonsuetfeld]

Photoshop-Mockups von Fig 3 und 4:

[leonsuetfeld]

Figure 5

[behinger]

Figure 5 looks already good, some suggestions:

• Put y-ticks only every 0.2
• add a unit [a.u] or [normalized]
• remove the box, that is the lines to the right top border of each plot can be removed completely
• add unit of x-axis [s]
• make the label color the same as the line color

[behinger]

This is one idea of how we can make Figure 4

I would maybe split it up in "between" and "within subject ecplicitly. Not sure about the arrangement of the boxes anyway...

note: Modality has a bimodal distribution. No idea why, but interesting!

Anna had the idea to separate the bimodal distribution into two colors, but I do not see a pattern with any other predictor

If there is no pattern, that would indicate that some subjects truly have a positive modality effect - but its hard to say because in logistic regression all parameter estimates depend on eachother. What we could do is split the data based on the parameter estimates and look back in the data/probability space for patterns.

I will do this once I finished the data-plot(figure 2)

[behinger]

Figure 3

All in one now. I like it. Colors should still change

[behinger]

Figure 2

Slight update:

[behinger]

Figure 4

Die Reihenfolge der Gruppen muss noch angeglichen werden. Ich würde auch noch ein paar mehr x-ticks hinzufügen sodass man sieht dass es sich hier um eine logarithmische achse handelt

man könnte auch eventuell wie in Figure 2 verschiedene shapes für die zuordnung der conditions verwenden (also als zusätzlicher guide). Bin mir aber nicht sihcer ob notwendig, im Endeffekt ist die Idee ja: Da gibts nicht viel zu sehen

was mir noch nicht gut passt - die einzelnen Punkte geben den Mean-Posterior an, und man wundert sich hier vielleicht warum die gezeigten Credibility Intervals breiter sind als da wo alle subjects sind. Das liegt an der fehlenden subject-uncertainty. Aber mir fällt nichts ein das besser zu machen,

[leonsuetfeld]

Sehr schöne Sache! Ein paar Anmerkungen:

Figure 2 Ich glaube die verschiedenen Symbole sind nicht notwendig, da die conditions ja schon räumlich voneinander getrennt sind. Ich würde überall circles nehmen, das ist sonst seeehr verwirrend und sieht nach viel mehr Information aus als eigentlich drin steckt :-)

Figure 3 Sieht aktuell noch ein bisschen nach Platzverschwendung aus, also es passt proportional noch nicht so richtig. Könntest du das ein bisschen kompakter bauen?

Figure 4 Subject gender braucht eine andere scale als die anderen. gender ist ±0.5, heißt hier ist der gesamte Wertebereich abgedeckt. Age (sollte dann subject age heißen) zB ist aber der Effekt pro Jahr, d.h. theoretisch kann da das 10-fache oder mehr von dem Effekt drauf kommen. Genau so bei video gaming, ist der Effekt von 1 std pro Woche, und beim SDS17 ists der Effekt von einem Punkt im Ranking. Bei den conditions setzt sich das schwarz nicht gut vom Blau ab - stärkere Transparenz auf das blau, oder andere Farbe vllt.? (siehe unten)

Farben Meinst du, wir sollten es alles blau-orange machen was die study 1 + 2 betrifft, und trotzdem RGB in den EDA plots? Oder sollten wir die untereinander farblich angleichen für den hübscheren look?

[behinger]

Alles sehr gute punkte

Figure 4 Wenn du nicht nur zentrierst sondern auch durch 2*SD teilst, sind alle effekte auf der gleichen skala (weil SD([-0.5,0.5,0.5 ... -0.5]) = 0.5. Das würde ich lieber haben als verschiedene skalen einführen. Dann kann man effektgrößen auch direkt miteinander vergleichen :)

Farben Verschiedene Farben für verschiedene Datentypen fände ich ok. Kann man aber auch im "postprocessing" angleichen.

[behinger]

Figure 2 update

[leonsuetfeld]

Das sieht schick aus. Ich würde die Titel ändern auf "[%] young saved", "[%] female saved" (und den plot umdrehen), und "[%] elderly saved". Ansonsten bin ich gerade hauptsächlich im overleaf unterwegs und schreibe am Text. Bin mir nur mit der Struktur noch nicht sicher...

Struktur (A) Studie 1+2 methodisch hintereinander beschreiben, anschließend Results für beide kombiniert bringen, also die Figures jeweils in Gänze beschreiben. Vorteil: Result-Text passt zu den Figures. Nachteil: Beschreibung von Studie 2 erfolgt bevor die Ergebnisse von Studie 1 besprochen sind. (B) Studien einzeln nacheinander durchkauen. Studie 1 Methoden + Results, dann Studie 2 Methoden + Results. Vorteil: Klare Struktur. Nachteil: Figures bei Studie 1 nehmen Results von Studie 2 vorweg, könnte verwirrend sein für die Leser.

[leonsuetfeld]

Ach ja, was hältst du davon die Data Figure (Fig 2) und die mit den main effects aus der regression (Fig 3) nebeneinander zu packen? Stellen im wesentlichen das gleiche dar, und von der breite her würde das aktuell gut passen.

[leonsuetfeld]

Sollten wir für Studie 1 vielleicht das Model noch mal leicht anpassen?

Bisher:

model_full = choice_left ~
             1 + visonset_left + visonset_left:abstraction + (sex_diff + young_diff + elderly_diff)*modality*abstraction +
            (1 + visonset_left + visonset_left:abstraction + (sex_diff + young_diff + elderly_diff)*modality*abstraction | sn_idx)

Vorschlag:

model_full = choice_left ~
             (1 + visonset_left + sex_diff + young_diff + elderly_diff)*modality*abstraction +
            ((1 + visonset_left + sex_diff + young_diff + elderly_diff)*modality*abstraction | sn_idx)

So wäre es übersichtlicher / leichter zu lesen und zu verstehen, und entspricht dann auch Study 2.

[behinger]

Figure 2 Die Labels änder ich gute idee!

Figure 2/3 Finde ich gut, beides in einer Figure zu packen.

Struktur Ich finde (A) besser, ich würde beides direkt abhandeln. Kommt darauf an ob du den Fokus auf die verschiedenen Conditions setzen willst, oder darauf das deine Resultate sich replizieren.

Model Die beiden Modelle sind identisch also stimme ich dir zu, das untere ist einfacher verständlich. Der einzige Nachteil ist, dass nicht offensichtlich ist dass es keine interaktion visonset_left:modality gibt. Kann man aber noch hinschreiben.

Frage Können wir alter & VG etc. mittels / (2*SD) normalisieren?

[leonsuetfeld]

Struktur Ja, ich freunde mich mit (A) auch immer mehr an. Der Fokus ist auch eher auf den einzelnen Conditions, bzw. konkreter den Faktoren (also auch auf Seite der Subjects). Die Replizierbarkeit ist ein netter Nebeneffekt.

Model Ist denn das Intercept auch modality- und abstraction-spezifisch mit-modelliert? Ah, und ich glaube da ist ein kleiner Fehler in der data-Grafik: bei Modality ist omission bias (der visonset_left entspricht) aufgeführt. Das macht aber eigentlich keinen Sinn, da es ja in der Modality 0 (Desktop) kein visonset_left gibt. Ich würde der Einfachheit halber auf jeden fall das einfachere Model nehmen, und dann im Text erwähnen, dass eine Modality kein visonset_left enthält.

Frage alter und VG: Könnte man, allerdings verlieren wir dadurch die einfache Interpretierbarkeit der Werte. Die SDs sind ja extrem sample-spezifisch, und ich finde es eigentlich praktisch, es als "pro Lebensjahr verschieben sich die Werte um XYZ" interpretieren zu können. Vielleicht ist hier ein skalierter Plot doch die sinnvollere Variante?

[behinger]

Model Ich glaube ich hab ein paar dreher noch drin in meinen Labels. Omission bias => effect von visonset?

Frage Okay verstehe ich. Mhh ich probier mal die skalierte version

[leonsuetfeld]

Model intercept => lane bias visonset_left => omission bias

visonset_left=1 bedeutet ja, dass wir zum Zeitpunkt als die Objekte sichtbar wurden auf der linken Spur waren. Wenn das alleinige "links sein" die Wahrscheinlichkeit erhöht, auch links anzukommen (und umgekehrt mit rechts), dann ist das ein bias dahingehend, nicht in die Situation einzugreifen, also omission bias :-)

[behinger]

Figure2/3 Die Figure ist relativ breit. Bei den odds ratio bin ich noch unschlüssig welche der beiden odds-ratio labels ich nutzen möchte. was denkst du?

[behinger]

Omission bias/visonset_left ich hatte das von deinem Plot übernommen, deine erklärung hier macht viel Sinn - nur um sicher zugehen: main effect modality => adv. left lane [modality]

[leonsuetfeld]

Figure 2/3

• ich glaube 1:1000 etc. ist einfacher zu verstehen
• die labels für adv. left lane und omission bias sind noch vertauscht, denke ich. intercept = adv. left lane, visonset_left = omission bias
• könntest du die reihenfolge ändern: adv. left lane; omission bias; adv. female; adv. young; adv. elderly
• und vielleicht auch im daten-plot links erst female, dann young, dann elderly?

Omission bias/visonset_left hier bin ich grad verwirrt was du meinst. das modality intercept wäre adv. left lane, aber als modality main effects würde ich die ganze gruppe an parametern verstehen.

[behinger]

Figure 2/3

Ommision bias main effect modality => 1 + modality. Das andere sind modality interactions modality:visonset_left etc.

[behinger]

Figure 4

Ich bin gerade nicht sicher ob man links 1:1000 und rechts 1000:1 oder andersrum besser benutzt?

[behinger]

Figure 4 Da die Figure sehr komplex ist. Was hältst du von Pfeilen an die interesanten zeilen? Also speed young, modality young+eldery, abstract elderly

PS: es sind noch feinheiten zu machen, aber da die doch recht viel handarbet benötigt wollte ich nicht zusehr ins detail gehen :)

[leonsuetfeld]

Figure 4 Ich bin nicht sicher, ob Pfeile das übersichtlicher machen oder nicht. Könnte auch verwirrend wirken? Ich finde die Figure ansonsten super, nur dass ich die xlims einschränken würde. 1000:1 bis 1:1000 würde meiner Meinung nach reichen. Und auf der anderen Seite 2:1 bis 1:2. Dass da ein paar blaue Punkte bei abgeschnitten werden würde ich dann in der Figure description erwähnen.

Achso und ja, ich würde das umdrehen. links die 1:1000 und rechts die 1000:1.

[behinger]

Gute idee, ich habe die Skala etwas eingeschränkt. Ich würde sehr ungern datenpunkte abschneiden, so richtig mehr sehen tut man auch nicht bei größerer Skala, im gegenteil es wird eher "crowded" und damit schlechter sichtbar.

Labels habe ich geändert. Beim rechten plot finde ich 1:2 und 1:3 beide ganz praktisch weil man dann eher die Skala versteht