Visuell-Haptische Wahrnehmungsillusionen für Handbasierte Interaktionen in Virtuellen Umgebungen
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Zusammenfassung der Projektergebnisse
Ziel des VHIVE-Projekts war die Verbesserung handbasierter Interaktionen in virtuellen Umgebungen. Der Fokus des Projekts lag dabei auf der Entwicklung und wissenschaftlichen Untersuchung neuartiger Geräte und Interaktionstechniken, welche die Haptik in der virtuellen Realität (VR) verbessern sollen. Besondere Schwerpunkte waren dabei Wahrnehmungsillusionen sowie -phänomene wie die visuelle Dominanz, multisensorische Integration und Veränderungsblindheit. Hierzu wurden drei Themengebiete bearbeitet: Zuerst untersuchte VHIVE visuell-induzierte Wahrnehmungsillusionen in VR mit einem besonderen Fokus auf Techniken zur Handumlenkung (HR) und pseudo-haptischem Feedback. HR-Techniken ermöglichen es dem VR-System, physische Handbewegungen von Usern während der Interaktion in VR zu kontrollieren, ohne dass diese eine Manipulation bemerken. Dies erleichtert die Interaktion mit haptischen Requisiten (Props). VHIVE entwickelte dazu neuartige HR-Techniken, welche die Veränderungsblindheit während des Blinzelns und während Sakkaden ausnutzen. In psychophysischen Experimenten wurde darüber hinaus die Bemerkbarkeit solcher Techniken untersucht und ihre Vorteile gegenüber herkömmlichen HR-Techniken demonstriert. Analog zu HR manipulieren auch pseudo-haptische Feedbackmethoden virtuelle Interaktionen, ohne dass User dies bemerken, um haptische Eindrücke zu vermitteln. In diesem Zusammenhang führten wir in VHIVE Wahrnehmungsexperimente durch, welche untersuchten, wie User simuliertes Gewicht und Festigkeit wahrnehmen. Im Rahmen des zweiten Themengebiets beschäftigte sich VHIVE mit der Frage, wie handbasierte Interaktionen durch passives und aktives haptisches Feedback verbessert werden können. Wir untersuchten dazu audio-basiertes vibrotaktiles Feedback, Tapping-Feedback und die Stimulation von Sehnen durch elektrischen Strom (TES). Im Bereich der Requisiten-basierten Haptik stellten wir außerdem eine neue Taxonomie zur Klassifizierung entsprechender Techniken vor. Darüber hinaus untersuchten wir neuartige Konzepte für Oberflächen haptischer Requisiten auf der Basis von Metamaterialien und erkundeten, inwiefern alltägliche Objekte als haptische Requisiten in VR dienen können. Abschließend betrachtete VHIVE crossmodale VR-Interaktion unter Verwendung mehrerer Wahrnehmungskanäle. Hierzu untersuchten wir Kombinationen von haptischem Feedback mit visuellen Illusionen wie HR und Pseudo-Haptik. Unsere Ergebnisse zeigen die Vorteile kombinierter Methoden auf, insbesondere zur Verbesserung von Interaktionen mit User Interface Elementen in VR, sowie zur Vermittlung von Gewicht und Balance virtueller Objekte.
Projektbezogene Publikationen (Auswahl)
-
Ambient Living Media as Haptic Proxy Interfaces for Virtual Reality. In Proc. 1st Workshop on Everyday Proxy Objects for VR (EPO4VR ’21). Open Access
M. Schubhan, F. Kosmalla, A. Zenner & A. Krüger
-
Blink-Suppressed Hand Redirection. 2021 IEEE Virtual Reality and 3D User Interfaces (VR), 75-84. IEEE.
Zenner, Andre; Regitz, Kora Persephone & Kruger, Antonio
-
Combining Dynamic Passive Haptics and Haptic Retargeting for Enhanced Haptic Feedback in Virtual Reality. IEEE Transactions on Visualization and Computer Graphics, 27(5), 2627-2637.
Zenner, Andre; Ullmann, Kristin & Kruger, Antonio
-
Everyday Proxy Objects for Virtual Reality. Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems, 1-6. ACM.
Daiber, Florian; Degraen, Donald; Zenner, André; Döring, Tanja; Steinicke, Frank; Ariza, Nunez Oscar Javier & Simeone, Adalberto L.
-
Haptic Proxies for Virtual Reality: Success Criteria and Taxonomy. In Proc. 1st Workshop on Everyday Proxy Objects for Virtual Reality (EPO4VR ’21). Open Access
N. Nilsson, A. Zenner & D. Degraen
-
HaRT - The Virtual Reality Hand Redirection Toolkit. Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems, 1-7. ACM.
Zenner, André; Kriegler, Hannah Maria & Krüger, Antonio
-
Propping Up Virtual Reality With Haptic Proxies. IEEE Computer Graphics and Applications, 41(5), 104-112.
Nilsson, Niels Christian; Zenner, Andre & Simeone, Adalberto L.
-
Smart Devices as Proxy Objects for Virtual Reality Position Paper. In Proc. 1st Workshop on Everyday Proxy Objects for Virtual Reality (EPO4VR ’21). Open Access
A. Makhsadov, D. Degraen, A. Zenner & F. Daiber
-
Visuo-haptic Illusions for Linear Translation and Stretching using Physical Proxies in Virtual Reality. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, 1-13. ACM.
Feick, Martin; Kleer, Niko; Zenner, André; Tang, Anthony & Krüger, Antonio
-
Advancing Proxy-Based Haptic Feedback in Virtual Reality. Ph.D. Thesis. Saarland University. Supervisor: A. Krüger. PDF Link. Open Access
A. Zenner
-
Designing Visuo-Haptic Illusions with Proxies in Virtual Reality: Exploration of Grasp, Movement Trajectory and Object Mass. CHI Conference on Human Factors in Computing Systems, 1-15. ACM.
Feick, Martin; Regitz, Kora Persephone; Tang, Anthony & Krüger, Antonio
-
Holitouch: Conveying Holistic Touch Illusions by Combining Pseudo-Haptics With Tactile and Proprioceptive Feedback During Virtual Interaction With 3DUIs. Frontiers in Virtual Reality, 3.
Ariza, Nunez Oscar Javier; Zenner, André; Steinicke, Frank; Daiber, Florian & Krüger, Antonio
-
VRySmart: a Framework for Embedding Smart Devices in Virtual Reality. CHI Conference on Human Factors in Computing Systems Extended Abstracts, 1-8. ACM.
Makhsadov, Akhmajon; Degraen, Donald; Zenner, André; Kosmalla, Felix; Mushkina, Kamila & Krüger, Antonio
-
Audio-based Vibrotactile Feedback in Multimodal VR Interactions. 29th ACM Symposium on Virtual Reality Software and Technology, 1-2. ACM.
Ariza, Oscar; Steiner, Felix; Zenner, André & Steinicke, Frank
-
Continuous VR Weight Illusion by Combining Adaptive Trigger Resistance and Control-Display Ratio Manipulation. 2023 IEEE Conference Virtual Reality and 3D User Interfaces (VR), 243-253. IEEE.
Stellmacher, Carolin; Zenner, André; Nunez, Oscar Javier Ariza; Kruijff, Ernst & Schöning, Johannes
-
Induce a Blink of the Eye: Evaluating Techniques for Triggering Eye Blinks in Virtual Reality. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 1-12. ACM.
Zenner, André; Ullmann, Kristin; Ariza, Oscar; Steinicke, Frank & Krüger, Antonio
-
MetaReality: enhancing tactile experiences using actuated 3D-printed metamaterials in Virtual Reality. Frontiers in Virtual Reality, 4.
Feick, Martin; Degraen, Donald; Hupperich, Fabian & Krüger, Antonio
-
MoVRI: The Museum of Virtual Reality Illusions. In DFKI Tech Report, 2023, Saarbrücken, Germany. PDF Link. Open Access
M. Feick, A. Zenner, S. Seibert, O. Ariza, D. Wagmann, J. Keller, A. Wittig & A. Krüger
-
Nicht mehr ins Leere greifen. In DFG Magazine “forschung”. Issue 4/2023. 22-25. PDF Link. Open Access
A. Zenner, F. Daiber & A. Krüger
-
The Detectability of Saccadic Hand Offset in Virtual Reality. 29th ACM Symposium on Virtual Reality Software and Technology, 1-2. ACM.
Zenner, André; Karr, Chiara; Feick, Martin; Ariza, Oscar & Krüger, Antonio
-
The Staircase Procedure Toolkit: Psychophysical Detection Threshold Experiments Made Easy. 29th ACM Symposium on Virtual Reality Software and Technology, 1-2. ACM.
Zenner, André; Ullmann, Kristin; Karr, Chiara; Ariza, Oscar & Krüger, Antonio
-
Turn-It-Up: Rendering Resistance for Knobs in Virtual Reality through Undetectable Pseudo-Haptics. Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, 1-10. ACM.
Feick, Martin; Zenner, André; Ariza, Oscar; Tang, Anthony; Biyikli, Cihan & Krüger, Antonio
-
Beyond the Blink: Investigating Combined Saccadic & Blink-Suppressed Hand Redirection in Virtual Reality. Proceedings of the CHI Conference on Human Factors in Computing Systems, 1-14. ACM.
Zenner, André; Karr, Chiara; Feick, Martin; Ariza, Oscar & Krüger, Antonio
-
Predicting the Limits: Tailoring Unnoticeable Hand Redirection Offsets in Virtual Reality to Individuals' Perceptual Boundaries. Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology, 1-13. ACM.
Feick, Martin; Regitz, Kora Persephone; Gehrke, Lukas; Zenner, André; Tang, Anthony; Jungbluth, Tobias Patrick; Rekrut, Maurice & Krüger, Antonio
-
The Impact of Avatar Completeness on Embodiment and the Detectability of Hand Redirection in Virtual Reality. Proceedings of the CHI Conference on Human Factors in Computing Systems, 1-9. ACM.
Feick, Martin; Zenner, André; Seibert, Simon; Tang, Anthony & Krüger, Antonio
-
Touching the Moon: Leveraging Passive Haptics, Embodiment and Presence for Operational Assessments in Virtual Reality. Proceedings of the CHI Conference on Human Factors in Computing Systems, 1-18. ACM.
Dufresne, Florian; Nilsson, Tommy; Gorisse, Geoffrey; Guerra, Enrico; Zenner, André; Christmann, Olivier; Bensch, Leonie; Callus, Nikolai Anton & Cowley, Aidan
