Durchführbarkeit, Akzeptanz und Datenqualität neuer multimodaler Erhebungen (FACES)

• Antragstellerinnen / Antragsteller: Professor Dr. Christian Aßmann; Professorin Dr. Corinna Kleinert; Professor Dr. Alexander Mehler
• Fachliche Zuordnung: Empirische Sozialforschung ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 539621548

Das Projekt eröffnet einen neuen multimodalen Datenraum für die Umfrageforschung aus einer survey-analytischen und einer informatischen Perspektive. Dieser Datenraum wird jüngste Innovationen im Bereich der VR und der KI nutzen und weiterentwickeln, um Face-to-Face-Interviews zu ersetzen und so das Problem der steigenden Kosten und sinkenden Rücklaufquoten interviewerbasierter Erhebungen zu lösen. Zu diesem Zweck wird ein Multi-Interface-System für Online-Befragungen auf der Grundlage von VR und Mixed Reality entwickelt und durch eine Reihe von Experimenten und eingehenden Vergleichen mit videobasierten Methoden getestet und bewertet. Das System wird ein breites Spektrum an Variabilität in Bezug auf Avatare und situative Parameter von Interviews, Schnittstellen und KI-Technologien zur automatischen Verarbeitung von Sprach- und Verhaltensdaten aufweisen. Dabei werden systematisch avatar-basierte, menschengesteuerte Lebensumfragen mit videobasierten Lebensumfragen verglichen. Bei ersteren werden die Verhaltensfreiheitsgrade der Interaktanten durch die Wahl der Avatare deutlich erweitert. Aufgrund der großen Anzahl möglicher Merkmalskombinationen wird auf zwei Arten vorgegangen: (1) die Auswirkungen von Avatar- und Situationsmerkmalen werden in Experimenten untersucht, um eine Vorauswahl zu treffen; (2) es werden vielversprechende Merkmalskombinationen identifiziert und unter realen Bedingungen (reale Interviews) getestet. Wir werden drei Forschungsfragen behandeln: RQ1: Was sind die Vorteile von avatar-basierten Interviews im Vergleich zu videobasierten Interviews in Bezug auf Akzeptanz, Machbarkeit und Datenqualität? RQ2: Welche Interviewereffekte werden durch welche Kombinationen von Merkmalen reduziert und wie interagieren sie? RQ3: Wie können die Ergebnisse in eine Theorie integriert werden, die das Training von automatisierten, vollständig immersiven virtuellen Interviewern darstellt? Zur Beantwortung der Fragen geht das Projekt über bestehende Studien hinaus und betrachtet vier Szenarien. In den Szenarien 2 und 3 ist das multimodale Verhalten der befragten Person noch aktiv, kann aber nicht wie in Szenario 1 aufgezeichnet werden. Die Szenarien 1-3 werden mit Szenario 4 verglichen, um die Auswirkungen von Avataren zu untersuchen. Sie unterscheiden sich durch den Grad der Immersion des Befragten und ermöglichen Betrachtungen zum Einfluss von Avataren in (teil-)virtualisierten Interviews, während Szenario 1 die zusätzliche Untersuchung des Proteus-Effekts ermöglicht. Die Szenarien 1-2 werden experimentell untersucht, die Szenarien 3-4 zusätzlich auch unter realen Interviewbedingungen mit ehemaligen NEPS SC3 Teilnehmern. Auf diese Weise wird das Projekt das erste sein, das Selbst- und Fremd-Avatar-Effekte, sowohl in Bezug auf Avatar-Eigenschaften als auch im Vergleich zu klassischen Interviews untersucht. Da im Rahmen des Projekts ein Open-Source-System entwickelt wird, wird es den Weg für künftige Avatar-basierte Lebensumfragen ebnen.

• DFG-Verfahren: Infrastruktur-Schwerpunktprogramme
• Teilprojekt zu: SPP 2431: Bereich Infrastruktur - Neue Datenräume für die Sozialwissenschaften