Greifbare Interaktion: Benutzerinteraktionskonzepte basierend auf Greifverhalten
Zusammenfassung der Projektergebnisse
Während interaktive 3D-Umgebungen in den letzten Jahren immer mehr an Bedeutung gewonnen haben, sind 3D-Benutzerschnittstellen oftmals immer noch sehr komplex und erfordern spezielle Fähigkeiten oder Training. Interaktion mit Handgesten ist ein aktives Forschungsthema im Bereich der 3D-Benutzerschnittstellen, wobei jedoch die Forschungsergebnisse aus verwandten Bereichen der Psychologie selten Beachtung finden. Diverse psychologische Studien haben konsistent gezeigt, dass die natürliche Kinematik menschlichen Greifens Vorhersagen über das Zielobjekt und manchmal sogar über die anschließend mit dem Zielobjekt durchgeführte Aktion erlauben. Diverse Studien untersuchten verschiedene Faktoren, die die Greifkinematik beeinflussen, wie Größe und Form des Objekts, spezifische Nutzungsmöglichkeiten und beabsichtigte Nutzung sowie den Einfluss von Hindernissen und Ablenkungen. Weitere Studien beschäftigten sich mit den Unterschieden beim Greifen von realen und virtuellen Objekten. Andererseits wurde gezeigt, dass die algorithmische Komplexität einer Greifbewegung erheblich reduziert werden kann, da die Bewegungen einzelner Finger stark korreliert sind. Diese Erkenntnisse versprechen ein enormes Potenzial für die Verbesserung interaktiver 3D-Umgebungen unter der Voraussetzung, dass die Information der Handkinematik in Echtzeit extrahiert und evaluiert werden kann und unmittelbar in die Benutzerschnittstelle einfließen kann. In diesem Projekt war es unser Ziel, einen allgemeinen Rahmen für die Analyse des Greifverhaltens im Kontext der Mensch-Computer-Interaktion zu schaffen und die Anwendbarkeit greifbezogener Informationen für die Gestaltung natürlicher Benutzungsschnittstellen zur Interaktion mit computergenerierten virtuellen Umgebungen zu untersuchen. Wir führten eine Reihe von Experimenten durch, bei denen die Handkinematik der Nutzer*innen bei unterschiedlichen Aufgaben und Objekten aufgezeichnet und mit verschiedenen Methoden ausgewertet wurde. Ziel war es, ausreichend Daten zu erfassen, effektive visuelle interaktive Analysemethoden zu entwickeln und die Vor- und Nachteile einer frühen Vorhersage der beabsichtigten Objekte und Aufgaben auf Basis der Handkinematik zu untersuchen. Die gewonnenen Erkenntnisse ermöglichen es Forschenden, den Gestaltungsraum für zukünftige interaktive Systeme auf Basis natürlicher Handinteraktionen weiter zu erforschen – also ohne den Einsatz spezieller Gesten oder Fertigkeiten.
Projektbezogene Publikationen (Auswahl)
-
Touch Recognition on Complex 3D Printed Surfaces using Filter Response Analysis. 2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), 195-200. IEEE.
Valkov, Dimitar; Thiele, Sebastian; Huesmann, Karim; Gebauer, Eike & Risse, Benjamin
-
”Research Topic: Beyond Touch: Free Hand Interaction in Virtual Environments”, Frontiers in Virtual Reality
D. Valkov, R. Teather, F. Daiber, A. U. Batmaz & K. Kim
-
Reach Prediction using Finger Motion Dynamics. Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems, 1-8. ACM.
Valkov, Dimitar; Kockwelp, Pascal; Daiber, Florian & Krüger, Antonio
-
”Grasp Prediction based on Local Finger ¨ Motion Dynamics”
D. Valkov, P. Kockwelp, F. Daiber & A. Kruger
-
”XMTC: Explainable Early Classification of Multivariate Time Series in Reach-to-Grasp Hand Kinematics”
Reyhaneh Sabbagh Gol, Dimitar Valkov & Lars Linsen
