lkwint
commented
2 years ago @ndang Eine konkrete Frage vielleicht dazu: Wir haben beim Open Space darüber gesprochen, dass man Think Aloud mit einem Interview kombinieren kann. Ich bin mir nicht so ganz sicher an welcher Phase der Evaluation(vor dem RTA oder danach) das Interview durchgeführt werden könnte und was es beinhalten könnte? Ich könnte mir vorstellen, dass man im Anschluss nach der RTA nochmal nachfragen könnte :
- ob die Bedeutung von Elementen richtig verstanden wurde,
- oder nach einem Feedback über den Prototyp / Verbesserungsvorschlägen ect.
ndang
Hallo liebe @ndang ,
Wir haben einen Evaluationplan erstellt und würden uns sehr um ein Feedback freuen )
Evaluationsplan
Evaluationsdesign
Testobjekt: funktionsfähiger Prototyp der mobilen Applikation der Artothek
Methodik: Retrospective Think Aloud
Zweck: Effektivität und Effizienz der Aufgabenerledigung prüfen, Benutzbarkeit und Benutzerfreundlichkeit des Systems testen, Probleme bei der Nutzung des Systems entdecken
Moderator/ Beobachter: Julian Schiller, Liana Kwint, Studenten der TH Köln Zeit der Sitzung: 30 Minuten für den Test
Untersuchungsbedingungen
Die Studie wird innerhalb eines Tages hybrid (online und live) durchgeführt : die Probanden und der Moderator befinden sich in einem Raum, der Moderator steuert die Testdurchführung über eine Online-Videokonferenz. Für die Studie wurden zwei Probanden ausgesucht.(*nähere Information zu den Probanden kommt)
Beschreibung der Testumgebung Die Untersuchung wird in einem separaten Raum durchgeführt. Auf einem Notebook Macbook Pro wird einen Xcode Simulator Simulator installiert, der eine direkte Interaktion mit dem funktionsfähigen Prototyp der mobilen Applikation Artothek ermöglicht. Die Probanden bekommen einen Zugang zu dem Prototyp und eine Aufgabe. Die Aufzeichnung des Bildschirmes läuft parallel zu der Aufzeichnung der Person während des Tests über eine Zoom Session. Bei der Aufzeichnung wird das Verhalten der Probanden mit dem System durch Mausklicks und- Bewegungen, Emotionen und Gesichtsausdrücke und Kommentaren aufgenommen. Die Testabläufe werden durch einen sich vor Ort befindenden Usability Spezialisten beobachtet und aus einer Perspektive aufgezeichnet: mittels einer eingebauten in dem Rechner des Probandes Kamera und Mikrofons. Der Moderator kann (falls nötig) die Anweisungen im Videokonferenz über das Mikrofon geben. Der Moderator selbst taucht in der Aufzeichnung nicht auf.
Die Testpersonen bekamen vor der Durchführung der Videokonferenz eine Einverständniserklärung zu dem Video und Audioaufnahme (siehe Anhang).
Durchführung
Bevor es zur durchführung der Aufgabe kommt, wird von dem Moderator eine kurze Einführung gemacht in der das Konzept der Artothek vorgestellt. Unter anderem werden die Teilnehmer über eine Videoaufzeichnung aufgeklärt. Alle Probanden werden gebeten folgende Aufgaben zu erledigen:
Direkt im Anschluss wird jedem Proband eine Videoaufzeichnung(mit einer reduzierten Wiedergabegeschwindigkeit) präsentiert und folgende Weisung gegeben: “Bitte erzählen Sie ihre Gedanken bei der Durchführung der Aufgaben , wenn sie Sie sogar etwas unsinnig erscheinen. Es hilft uns sehr wenn sie viel erzählen”. Die Probanden, die zu lange an einer Stelle schweigen, werden von dem Moderator dazu aufgefordert ihre Gedanken zu äußern.
Außer Aussagen der Probanden, die sogenannte “qualitative Daten”, werden es folgende Variablen zur Messung der quantitativen Daten ausgewählt: