Visuell-Haptische Wahrnehmungsillusionen für Handbasierte Interaktionen in Virtuellen Umgebungen

• Antragsteller: Professor Dr. Antonio Krüger; Professor Dr. Frank Steinicke
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 450247716

Virtual Reality (VR) ermöglicht es den Benutzer*innen, computergenerierte Umgebungen durch direktes Greifen virtueller Objekte mit den Händen auf natürliche und immersive Weise zu erleben. Leider fehlt es den meisten aktuellen VR-Anwendungen jedoch an realistischen haptischem Feedback. Dies verhindert, dass Benutzer die virtuelle Umgebung (VE) taktil, kinästhetisch, propriozeptiv und vestibulär in allen Facetten wahrnehmen, und somit wirklich "fühlen", können. Während solcher Interaktionen stehen uns Menschen nicht nur haptische und taktile Informationen zur Verfügung, sondern weitere multisensorische Signale (z.B. visuell und auditiv) führen zu einer multisensorischen Integration. Stehen die Sinne im Konflikt, gewichtet das menschliche Gehirn verschiedene Reize entsprechend ihrer Zuverlässigkeit. Da der visuelle Sinn während dieses Integrationsprozesses häufig dominiert, kann die multisensorische Wahrnehmung, z.B. durch visuelle Illusionen, modifiziert und somit die haptische Wahrnehmung verändern werden. Dies wird auch als kreuzmodale Interaktion bezeichnet. Solche kreuzmodalen Interaktionen für hand-basierte VR-Interaktionen mit aktiver und passiver Haptik haben das Potenzial, ein realistisches multimodales Feedback zu erzeugen. Weitere Grundlagenforschung ist jedoch erforderlich, um das kreuzmodale Zusammenspiel von visuellen und haptischen Reizen für die Mensch-Computer-Interaktion (HCI) in VR vollständig zu verstehen. In diesem Forschungsprojekt wollen wir das Zusammenspiel von visuellen und haptischen Feedback untersuchen, um neuartige Formen visuell-haptischer, hand-basierter VR-Interaktionen zu ermöglichen. Zunächst analysieren wir die Auswirkungen visueller Dominanz und Illusionen auf die Interaktion mit virtuellen Objekten. Dazu untersuchen wir Techniken, die aktiv die visuelle Wahrnehmung der VE verändern. Beispielsweise werden die virtuellen Hände der Benutzer*innen durch Redirected Touching Verfahren von den realen Handpositionen versetzt, um die Handbewegung auf oder über physikalische Proxy-Oberflächen zu verändern. In der zweiten Phase fokussieren wir uns auf das Design von passiv-haptischen Proxy-Objekten sowie aktiv-haptischem Feedback, um die VR-Interaktionen weiter zu verbessern. Dazu werden wir den Interaktionsraum des visuell-haptischen Feedbacks für VR erforschen, der aufgespannt wird durch das aktiv-passiv Haptik-Kontinuum sowie der zusätzlichen Dimension von aktivem zu passivem visuellen Feedback. In diesem Zusammenhang wollen wir untersuchen, wie Aktoren, aktives Vibrationsfeedback, passiv haptische Proxy-Objekte und spezielle Visualisierungen die Interaktion und Wahrnehmung in VEs verbessern können. Schließlich werden wir ein Open-Source-Framework mit Bau- und Schaltplänen sowie Anleitungen für die entsprechende Interaktionselemente bereitstellen.

• DFG-Verfahren: Sachbeihilfen