Messung von Nutzer-Präsenz in Cyberphysikalischen Systemen anhand von Hirnaktivität

• Antragsteller: Professor Dr. Klaus Gramann
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 462163815

Cyber-physikalische Systeme (CPS) erlauben die Kontrolle und Überwachung physikalischer Prozesse durch computer-basierte Algorithmen. CPS verändern die Arbeitswelt rapide und führen auch zu Umwälzungen im alltäglichen Umgang mit technischen Systemen. Virtual Realität (VR) ist eine weit entwickelte Form von CPS-Anwendungen, die unterschiedlichste Umgebungen simulieren kann und die eine hohe Präzision in der Interaktion mit der Schnittstelle erfordern. Eine solche präzise Interaktion erfordert Nutzerpräsenz und die Fähigkeit adäquat auf Änderungen in der Umgebung zu reagieren. Nutzerpräsenz beschreibt das Gefühl sich in der virtuellen Situation zu befinden, auch wenn man physisch in einer anderen Umgebung lokalisiert ist. Die Fähigkeit adäquat auf Änderungen im System zu reagieren wiederum beruht auf der Prädiktion des zukünftigen Systemverhaltens aufgrund der eigenen Handlung. Hierfür ist die Integration sensorischen Feedbacks nötig, welches die tatsächliche Handlungsausführung begleitet. Etablierte Methoden der Präsenzmessung basieren auf Fragebögen oder peripherphysiologischen Ansätzen. Beide Methoden sind problematisch, da sie entweder auf Introspektion und einer Unterbrechung der Interaktion beruhen, oder aber auf emotionsinduzierenden Reizen basieren, um eine physiologische Antwort messen zu können. Ebenso weisen diese Methoden eine geringe zeitliche Auflösung auf, die nicht der hohen zeitlichen Auflösung kognitiver und affektive Prozesse entspricht. In diesem Projekt sollen die Limitationen existierender Methoden überwunden und eine Methode zur Präsenzbestimmung entwickelt werden, die auf der Messung von Hirnaktivität der Nutzer in Kombination mit peripherphysiologischen Methoden während der Interaktion mit einem VR-Szenario basiert. Hierzu wird die Methode des Mobile Brain/Body Imaging (MoBI) eingesetzt, die Elektroenzephalographie (EEG) mit Elektrokardiographie und elektrodermaler Aktivitätsmessung sowie Bewegungsmessung und VR-Stimulation kombiniert um mit datengetriebenen Analyseansätzen eine multimodale Präsenzmetrik zu entwickeln. Zur Präsenzmessung wird ereigniskorrelierte Aktivität genutzt, die mit Auftreten unerwarteter sensorischer Ereignisse zu beobachten ist. Die extrahierten Parameter werden mit Hilfe etablierter Fragebögen validiert und in Hinsicht auf die Rolle unterschiedlicher sensorischer Feedback-Modalitäten, die bei natürlichen Bewegungen auftreten, weiterführend untersucht. Dazu wird der Einfluss von Rauschen in unterschiedlichen sensorischen Modalitäten und der Einfluss derselben auf die multisensorische Integration und nachfolgend auf das Präsenzerleben untersucht. Dies ermöglicht auch die Untersuchung der neuronalen Grundlagen multisensorischer Integration während aktiver Bewegung.Das Projekt ermöglicht die Entwicklung eines objektiven und kontinuierlichen Messinstrumentes für Nutzerpräsenz sowie die Bestimmung des Einflusses unterschiedlicher sensorischer Displays auf dieselbe.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: USA
• Kooperationspartner: Professor Dr. Pedro Lopes