Aktionsplan-Informatik: Neue Methoden und schnelle Algorithmen zur effizienten und natürlichen Interaktion mit virtuellen Umgebungen

• Applicant: Professor Dr.-Ing. Gabriel Zachmann
• Subject Area: Security and Dependability, Operating-, Communication- and Distributed Systems
• Term: from 2003 to 2011
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5401202

Virtuelle Realität (VR) liegt heute noch weit hinter dem ursprünglichen Anspruch der natürlichen, intuitiven und effizienten Interaktion mit virtuellen Umgebungen zurück. Insbesondere mit der virtuellen Hand sind bislang nur sehr rudimentäre Interaktionen möglich, wohingegen unsere reale Hand unser flexibelstes und vielseitigstes Werkzeug ist. Anwendungen, die eine komplexe Interaktion mittels einer virtueller Hand voraussetzen, wie z.B. Virtual-Prototyping, sind noch weit von einer endgültigen und zufriedenstellenden Lösung entfernt. Eine Lösung, die allgemein eingesetzt werden kann, sollte möglichst ohne Force Feedback auskommen, da die entsprechenden Geräte in jedem Fall hinderlich sind und auf absehbare Zeit viele Probleme der Praktikabilität, Qualität, und Sicherheit nicht gelöst sein werden. Verzichtet man auf Force-Feedback, so hat das VR-System keinerlei Kontrolle über die reale Hand des Benutzers, d.h., es kann die Position und Bewegung zwar erkennen, aber nicht beeinflussen. Das Ziel dabei ist, daß die virtuelle Hand aber dennoch sinnvolle Bewegungen und Manipulationen (wie z.B. Greifen) ausführen soll. Um dieses Ziel zu erreichen müssen folgende Grundprobleme gelöst werden: eine integrative Behandlung der Erfassung, Modellierung, Simulation der Hand, ihrer Manipulationsmöglichkeiten der virtuellen Objekte, und der Kollisionsvermeidung mit der virtuellen Umgebung in Echtzeit. In diesem Projekt sollen die Grundlagen und Methoden geschaffen werden, um in komplexen virtuellen Umgebungen komplizierte Handhabungen und Objektmanipulationen realistisch und intuitiv mit der virtuellen Hand ohne Foree-Feedback ausführen zu können. Dazu soll ein umfassendes Modell entwickelt werden, das alle möglichen Manipulationsarten von Objekten durch eine virtuelle Hand simulieren kann. Dabei steht nicht die physikalisch korrekte Simulation der Hand im Vordergrund, sondern ein plausibles bzw. vom Benutzer vorhersagbares Verhalten. Dabei lassen sich zusätzliche Hilfestellungen, wie z.B. virtuelle Magnete, in die Simulation integrieren. Wichtig bei der Simulation der Manipulation ist die Berücksichtigung der gesamten virtuellen Umgebung, da diese die Freiheitsgrade der virtuellen Hand einschränkt. Eine besondere Herausforderung dabei sind Echtzeitaspekte des Systems, was besonders für industrielle Anwendungen unabdingbare Voraussetzung ist. Im einzelnen sollen effiziente Algorithmen entwickelt werden, um - das Tracking berührungslos mittels Computer-Vision zu lösen, - Objekte in virtuellen Umgebungen natürlich und effizient zu manipulieren, und - Kollisionen insbesondere der deformierbaren Hand zu erkennen und zu vermeiden. Zunächst sollen diese Algorithmen für Virtual-Prototyping prototypisch implementiert und ihre Eignung verifiziert werden. Langfristig sollen die in diesem Vorhaben zu entwickelnden Algorithmen und Verfahren Eingang in die generelle Mensch-ComputerInteraktion finden, und somit z.B. zur Realisierung von "smart terminals" oder "smart homes" beitragen.

• DFG Programme: Independent Junior Research Groups