Evaluation / Dokumentation / Analyse des Workshops

[lwinkeler]

• Fragebögen??
• vorher / nachher?
• Speichern der qScope-Interaktionen?
• Welche Forschungsfrage wird im Rahmen der Workshops verfolgt?
  • Welchen Einfluss hat der Einsatz des Tools auf die Teilnehmer:innen?
  • Lässt sich die Akzeptanz gegenüber dem Projekt untersuchen?
  • Soll die Interaktion mit dem Tisch direkt untersucht werden?

[lwinkeler]

Basswords:

• workshop evaluation
• stakeholder empowerment tools (-> Suche nach den verwendeten Methoden zur Analyse/Dokumentation)
• participation workshops (in energy science / energy transition)
• decision visualization environments (http://fox.leuphana.de/portal/files/15422132/Dissertation_John_Beatrice_2019_11.pdf)

Relevant sind die verwendeten Methoden, mithilfe derer die Workshops begleitet wurden bzw. welche dazu dienten wissenschaftlich nutzbare Ergebnisse zu produzieren. z.B. vorher/nachher-Fragebögen; Teilnehmende Beobachtung; Expert:innen-Interviews...

[phiola]

Die verwendeten Methoden zur Evaluation/Dokumentation des Workshops hängen von den Fragestellungen ab, welche untersucht werden sollen. Evaluation and learning from the 2050 public engagement programme gibt einen Überblick über mögliche Evaluationsziele.

• Sowohl qualitative, als auch quantitative Erhebungsmethoden

Using interactive workshops to prompt knowledge exchange: a realist evaluation of a knowledge to action initiative

• "'what worked, where, for whom, and under what conditions'"
• Beobachtung
• Dokumentation und Analyse
• Interviews nach dem Workshop

Digital tools in stakeholder participation for the German Energy Transition. Can digital tools improve participation and its outcome?

• Untersuchung der Wahrnehmung des im Workshop genutzten Modells
• Fragebogen nach dem Workshop zur Wahrnehmung des Nutzens

Evaluating the Effectiveness of Public Meetings and Workshops: A New Approach for Improving DOE Public Involvement

• Qualität des Workshops: Accessibility, Fairness, Perceived understandability, Empowerment
• Fragebogen nach dem Workshop
• Focus-Groups zur qualitativen Datenerhebung

Deliberating the risks of nanotechnologies for energy and health applications in the United States and United Kingdom

• Audio- und Videoaufnahme des Workshops
• Transkription und qualitative Inhaltsanalyse

[lwinkeler]

Workshop: Research questions & Concept

Research questions

1. Welche Bedingungen des Gesamtsystems erzeugen umweltrelevante Entscheidungen? Wie ist der Unterschied zwischen Expert:innen & Haushalten?
2. Wie ist der Einfluss eines interaktiven Decision Support Tools auf die Akzeptanz/Motivation in der Energiewende? Lässt sich ein Unterschied zwischen herkömmlichen Methoden feststellen?

Bestandteile der Evaluation

1. Pre-Workshop (qualitativ)

   • Aufnahme demographischer Daten zur Einordnung der Gruppe
   • Abfrage von Motivation zur Teilnahme
   • Hintergrund privat oder organisationell
   • Hoffnungen an
     • Ergebnisse
     • Effekte
     • Chancen
     • Einflussnahme?
   • Allgemeine Einstellung gegenüber "Klimakrise"
   • Einschätzung der zu machenden Entscheidungen
   • Einschätzung des Tools?

2. During-Workshop

   • Überprüfung der Einhaltung der gemachten Aussagen
   • Spiegeln die Interaktionen die Aussagen wider?
   • Lassen sich Aktionen identifizieren, die nicht im Questionnaire beantwortet wurden?

3. Post-Workshop (qualitativ)

   • erneute Abfrage der letzten drei Fragen aus Pre-Workshop
   • Wie kann das Tool verbessert werden?
   • Wie war die User Experience?
   • Vgl. bisherige Veranstaltungen mit dieser (also inkl. DST / DVE)
   • Gefühl über Auswirkungen des Workshops (über die ersten drei Fragen hinaus)
   • Einfluss auf Kommunikation
   • Probleme / Herausforderungen
   • Verbesserungsmöglichkeiten der Umgebung

Weitere Punkte: Projekt ist Initialprojekt und hat daher einen Rapid-Prototyping Charakter

• ggf. in Fragestellungen mit einbauen
• Es wird nach eigenständiger Erfahrung (über die Literatur hinaus) gesucht
• Aufbau eines Fundamentes

Feedback PO & PE

• Thema: During Workshop -> Überprüfung der Einhaltung der gemachten Aussagen

  • Achtung: Abgleich von der Testumgebung wirft Herausforderungen auf, ggf. Teilnehmer:innen "rumspielen wollen"

• Abfrage, ob das System/Simulation verstanden wurde -> Prinzip verstanden?

• Expert:innen -> Intention solche Tools zu nutzen?

• Technology Acceptance Model: wie nützlich ist die Technologie?

• Fragebogen Pre-WOrkshop: Merkmale von Menschen / Typen -> Wie wirken sich diese Typen auf die Entscheidugnen aus / spiegelt sich das irgendwo wider?

[lwinkeler]

Ausgearbeitete Dokumente für Pre- und Post-Interview auf Seafile unter: Medias-in-RES_intern/q100-qScope/Projektmanagement/Workshopgestaltung/Ablauf-Anleitung-Evaluation_final