look at procrustes rotation

[maxheld83]

[maxheld83]

Ausgangspunkt meiner Überlegungen war, dass es mir irgendwie recht schwer gefallen ist eine passende “condition of instruction” und dazu kommensurable Items zu finden. Vielleicht habe ich noch nicht die richtige Forschungsfrage, aber irgendwie scheint mir klassisches Q zu eng. Ich würde erstmal gern rausfinden wie Arbeitnehmer_innen über (Wearable-)Technik am Arbeitsplatz denken, aber die Dimension dieser Subjektivität ist halt zunächst unklar (Isolierend vs Verbindend? Befähigend vs Deskilling? … etc.).

Deshalb habe ich mich dann noch mal mit Repertory Grid Technique (RGT) und ähnlichen Ansätzen beschäftigt, in denen ja jede_r Teilnehmende seine/ihre eigenen Dimensionen “idiografisch” bildet. Das Problem war nur das RGT (und so die Anwendungen von der Bremer nextpractice GmbH)

a) standardmäßig keine Zusammenschau aller Teilnehmenden bieten, und b) keine intersubjektiven Differenzen sichtbar machen.

Da habe ich jetzt (glaube ich; ziemlich sicher) einen Ansatz gefunden, mit dem wir beides haben können – “offene” Dimensionen (also jeder Teilnehmende bildet seine/ihre eigenen) und Differenzsicht (wie bei Q).

Die Schritte dazu sind:

1. Teilnehmende werden gebeten Items nach ihnen wichtigen Dimensionen zu sortieren (es können unterschiedlich viele Dimensionen gebildet werden). (Das ist ähnlich zum RGT-Verfahren, wir können aber wieder auf eine ipsative Messung setzen anstelle von Likert).
2. Die Sortierungen aller Paare von Teilnehmende werden “zueinander” rotiert (mittels Procrustes-Algorithmus); so sehen wir, wer (vermutlich) ähnliche Dimensionen gebildet hat. Wir erhalten einen (ähnlich) R2 und Signifikanz-Wert, der angibt, wieviel der Varianz eines gegebenen Teilnehmer-Paars erfolgreich in einer “Konsenssortierung” zusammengefasst werden kann, und zu welcher Wahrscheinlichkeit (mittels Monte-Carlo Simulation).
3. Aus der in 2 resultierenden Teilnehmer x Teilnehmer Matrix extrahieren wir (so möglich) “Gruppen” von ähnlich strukturierten Teilnehmern.
4. Diese Gruppen rotieren wir dann (intern) via Generalised Procrustes Analyse (GPA) aufeinander, und errechnen wieder einen (ähnlich) R2 und Signifikanz-Wert.
5. Die Konsens-Matrizen der Gruppen fassen wir dann (wenn nötig, weil evtl. zu unübersichtlich) erneut mit einer Hauptkomponentenzerlegung zusammen.
6. Schließlich heften wir die ursprünglichen Beschreibungen der Dimensionen an die Ergebnisse aus 5.

Das Verfahren ist in der unten stehenden Abbildung skizziert.

Die Items sind die Bilder. Die blauen Dimensionen sind die Ergebnisse von 5. Sie stellen (in einer Gruppe) geteilte Dimensionen dar. In der “Faktor”interpretation müssen wir Label finden. die grünen strings sind die original Beschreibungen der offenen Dimensionen durch Teilnehmende. Sie sind dort im Plot angeheftet, wo sie probabilistisch stehen sollten. Alles in diesem Plot hat einen präzisen Punkt, sowie eine Streuung/Konfidenzinterval darum. (nicht abgebildet). Natürlich wären es in einer echten Analyse deutlich mehr Items (aber nicht soo viele wie bei Q), und mehr Dimensionen. Das ganze gäbe es dann mehrfach für mehrere Gruppen (wenn empirisch vorhanden).

Die Bilder sind natürlich Murks, weil

a) irrelevante Aspekte des Fotos mit reinstreuen und b) garnicht alles für interessante abgebildet oder abbildbar ist.

Vielleicht könnten wir so als richtiges Befragungsinstrument einige Szenarien zeichnen lassen? (Hier steht natürlich die ganze theoretische Arbeit der Item-Generierung noch bevor).

Die gute Nachricht ist: Das ist überwiegend alles schon gut in der jüngeren Fachliteratur (Grice, Gowen, Horn) dokumentiert und ausprobiert, wenn auch selten praktiziert (in Food Sciences und Geographical Biology …). Wir brauchen als nicht das Rad neu erfinden (keine Methodenforschung).

Ich werde mal versuchen, noch bessere Items zu finden, und das am 22. März für uns alle vorstellen. Vielleicht können wir dann auch direkt mal etwas sortieren, um ein Gefühl dafür zu bekommen. Für richtig gute Items brauche ich natürlich Input, und wir gemeinsam eine präzisere Forschungsfrage.

Ich könnte mir vorstellen, dass man das -– wie Q -– auch zunächst mal begleitend zum Interview auf Papier durchführt, auch um sozusagen die Concept-validity des Verfahrens zu erhärten. Später dann für größere Fallzahlen als Webapp via accio.

Wir sind dann etwas breiter aufgestellt, als nur mit Q. Ich glaube das ist aber kein “mission creep”, sondern sinnvoll. Habe sonst zunehmend Sorge, dass wir nur mit Q (im engeren Sinne) so ein wenn-man-einen-Hammer-hat-sieht-alles-aus-wie-ein-Nagel-Problem bekommen (etwa bei Wearables).

Der Geist dieser Methode(n) und der pensieve/accio Software bleibt ja derselbe: Möglichst offene, holistische und induktive Verfahren elegant erheben, solide rechnen und hübsch grafisch aufbereiten. Es geht weiter um die wissenschaftliche Untersuchung von Subjektivität, mit dem Ziel quasi “the next best thing” zu einem tiefen-Interview zu bekommen (was wir ja auch machen).