Messung von Nutzer-Präsenz in Cyberphysikalischen Systemen anhand von Hirnaktivität
Zusammenfassung der Projektergebnisse
Ziel dieses Projekts war die Entwicklung multimodaler Messgrößen zur Beurteilung der Nutzer-Präsenz in Extended Reality (XR)-Umgebungen. Präsenz – das Gefühl, sich tatsächlich in einer virtuellen Welt zu befinden – wurde anhand von Elektroenzephalographie (EEG), Peripherphysiologie, Bewegungsmessungen und Performanz während virtueller Interaktionen untersucht. Hierbei lag ein Fokus auf den Nutzerreaktionen in Bezug auf konsistentes oder inkonsistentes sensorischen Feedbacks. In einer Reihe von Studien untersuchte das Projekt, wie unterschiedliche sensorische Feedbackmodalitäten die Nutzer-Präsenz beeinflussen. Eine zentrale Erkenntnis war, dass fehlerhaftes sensorisches Feedback menschliche Gehirnaktivität in spezifischen Frequenzbändern beeinflusst und die senso-motorische Verarbeitung verändert. Weiterhin konnte anhand von Aktivität im anterioren cingulären Kortex (ACC) die Wahrnehmung fehlerhafter Interaktion mit einer Genauigkeit von 77% klassifiziert werden. Dies unterstreicht die wichtige Rolle des ACC bei der Erkennung sensorischer Inkonsistenzen und der Anpassung des Verhaltens. Entgegen den Erwartungen beobachteten wir keine signifikanten Auswirkungen von Interaktionsfehlern auf periphere physiologische Maße wie das EKG und die Hautleitfähigkeit (EDA), wahrscheinlich aufgrund der kurzen Zeitfenster, in der eine Nutzerreaktion analysiert werden konnte aufgrund signifikant eingeschränkten Analysezeiträume. In Abweichung von der initialen Projektplanung konnten die weit verbreiteten Präsenzfragebögen (IPQ und SUS) nicht anhand physiologischer Maße validiert werden. Alternativ wurden im Projekt Unterskalen der Multimodal Presence Scale, die Einblicke in den Realismus des VR-Erlebnisses lieferten, verwendet. Darüber hinaus führten Probleme bei der Force-Feedback- Synchronisierung dazu, dass wir unseren Fokus auf die Unsicherheit in sensorischem Feedback auf das Konzept Sense of Agency (SoA) verlagerten. Diese wurde mit Hilfe von Muskelstimulation untersucht, die zur Steuerung der Probandenreaktion eingesetzt wurde. Ein wichtiger Erfolg des Projektes war die Entwicklung eines neuroadaptiven XR-Systems. Durch die Integration neuronaler Decoder mit Reinforcement Learning (RL) passte das System das haptische Feedback dynamisch an die Gehirnaktivität an und erreichte eine hohe Erfolgsquote in der Vorhersage der Nutzererfahrung. Dies konnte weiterführend in einem Experiment zur Echtzeit-Präsenzanpassung validiert werden. Um die Transparenz und Replizierbarkeit der Forschung zu gewährleisten, wurden Daten im Projekt nach dem Brain Imaging Data Structure (BIDS)-Ansatz standardisiert. Darüber hinaus wurde ein EEG Datensatz inklusive Bewegungsdaten mit dem BIDS-Motion Format standardisiert und öffentlich zugänglich gemacht. Weiterhin brachte das Projekt in einem Workshop zu BIDS Experten und Interessierte zusammen, um die Standardisierung von Datenformaten zu diskutieren und in der Forschung zu etablieren. Letztlich wurde ein Workshop zur Präsenzmessung als Abschlussveranstaltung durchgeführt, um Fortschritte und Herausforderungen bei der Forschung zu Nutzer-Präsenz in XR mit internationalen Expert:innen zu diskutieren. Insgesamt konnte das Projekt wichtige Erkenntnisse zur neuroadaptiven XR-Forschung beitragen, indem es Einblicke in die Präsenzwahrnehmung, die Echtzeitanpassung und die Grenzen physiologischer Messungen hierbei aufgezeigt und so den Weg für zukünftige Fortschritte für immersive VR geebnet hat.
Projektbezogene Publikationen (Auswahl)
-
Neural sources of prediction errors detect unrealistic VR interactions. Journal of Neural Engineering, 19(3), 036002.
Gehrke, Lukas; Lopes, Pedro; Klug, Marius; Akman, Sezen & Gramann, Klaus
-
The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data. openRxiv.
Klug, M.; Jeung, S.; Wunderlich, A.; Gehrke, L.; Protzak, J.; Djebbara, Z.; Argubi-Wollesen, A.; Wollesen, B. & Gramann, K.
-
Toward Human Augmentation Using Neural Fingerprints of Affordances. Affordances in Everyday Life, 173-180. Springer International Publishing.
Gehrke, Lukas; Lopes, Pedro & Gramann, Klaus
-
Towards an Implicit Metric of Sensory-Motor Accuracy: Brain Responses to Auditory Prediction Errors in Pianists. Creativity and Cognition, 129-138. ACM.
Pangratz, Elisabeth; Chiossi, Francesco; Villa, Steeven; Gramann, Klaus & Gehrke, Lukas
-
Decoding Realism of Virtual Objects: Exploring Behavioral and Ocular Reactions to Inaccurate Interaction Feedback. ACM Transactions on Computer-Human Interaction, 31(3), 1-21.
Terfurth, Leonie; Gramann, Klaus & Gehrke, Lukas
-
Exposing Movement Correlates of Presence Experience in Virtual Reality Using Parametric Maps. 2024 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), 374-380. IEEE.
Gehrke, Lukas & Gramann, Klaus
-
Modeling the Intent to Interact With VR Using Physiological Features. IEEE Transactions on Visualization and Computer Graphics, 30(8), 5893-5900.
Nguyen, Willy; Gramann, Klaus & Gehrke, Lukas
-
Visuo-haptic prediction errors: a multimodal dataset (EEG, motion) in BIDS format indexing mismatches in haptic interaction. Frontiers in Neuroergonomics, 5.
Gehrke, Lukas; Terfurth, Leonie; Akman, Sezen & Gramann, Klaus
-
Sense of Agency in Closed-Loop Muscle Stimulation. IEEE Access, 13, 105417-105433.
Gehrke, Lukas; Terfurth, Leonie & Gramann, Klaus
