Realtime Acquisition and Dynamic Modeling of Human Faces, Upper-Bodies, an Hands (D-A-C-H/LAV)

• Applicant: Professor Dr. Mario Botsch
• Co-Applicant: Professor Dr. Mark Pauly
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2010 to 2014
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 171789723

• Final Report Year: 2014

Final Report Abstract

In diesem Projekt wurde das echtzeitfähige Erfassen und Verfolgen (Tracking) von menschlichen Handbewegungen untersucht. Eine solche Technologie hat vielfältige Anwendungen, wie z.B. die Ansteuerung anthropomorpher Roboterhände und -arme, die Entwicklung neuartiger Benutzerinterfaces für die Mensch-Maschine-Interaktion, die Kontrolle von Hand-Gesten für virtuelle Videokonferenzen und vieles mehr. Um eine breite Verfügbarkeit der erzielten Ergebnisse sicherzustellen, wurde als Sensor die Microsoft Kinect-Kamera verwendet. Dieser kostengünstige Sensor liefert mit einer Abtastrate von ca. 30 Hz Farb- und Tiefeninformationen, welche dann in jedem Frame in Form einer eingefärbten 3D-Punktwolke vorliegen. Um die Handbewegungen trotz der anatomischen Komplexität der menschlichen Hand robust zu verfolgen, wurde ein modell-basierter Ansatz gewählt. Ein virtuelles Hand- Modell wird durch Optimieren seiner 26 Parameter (Position, Orientierung, Gelenkwinkel) möglichst genau an die gemessenen Kinect-Daten angepasst. Ein großes Problem stellen hierbei die häufigen Verdeckungen in den Kamerabildern dar, die zu fehlenden Daten in der Kinect-Punktwolke führen. Ohne weiteres Hintergrundwissen ist hier kein robustes Tracking möglich. Das nötige Wissen wird dem Algorithmus in Form von Trainingsdaten zur Verfügung gestellt: Es wurde eine große Anzahl an Hand-Bewegungen mit einem teuren, kommerziellen Motion-Tracking-System aufgezeichnet und aus der Analyse dieser Daten die Korrelationen bzw. Synergien der einzelnen Gelenkwinkel ermittelt. Dank dieser Daten kann das Tracking in einem niedrig-dimensionalen Parameterraum durchgeführt werden (12 statt 26 Parameter), wobei eine plausible Rekonstruktion garantiert ist. Die resultierende Methode kombiniert Ansätze aus der Computergrafik und der Robotik und kann als eine Mischung aus rigider und nicht-rigider Registrierung und inverser Kinematik aufgefasst werden. Dank einer Parallelisierung auf die verfügbaren Kerne moderner CPUs kann eine Geschwindigkeit von 25–30 Hz erreicht werden. Die der sogenannten synergistischen inversen Kinematik zugrunde liegenden Handpostur-Daten können auf der Homepage der Arbeitsgruppe Computergrafik der Universität Bielefeld heruntergeladen werden. Damit ist es auch anderen Wissenschaftlern möglich, die in diesem Projekt entwickelten Ansätze zu reproduzieren.

Publications

• Real-Time Hand Tracking with a Color Glove for the Actuation of Anthropomorphic Robot Hands, Proceedings of IEEE-RAS International Conference on Humanoid Robots, 2012
  Matthias Schröder, Christof Elbrechter, Jonathan Maycock, Robert Haschke, Mario Botsch, Helge Ritter
  
• Analysis of Hand Synergies for Inverse Kinematics Hand Tracking, Proceedings of ICRA/IROS Workshop on Hand Synergies, 2013
  Matthias Schröder, Jonathan Maycock, Helge Ritter, Mario Botsch
  
• Online Adaptive PCA for Inverse Kinematics Hand Tracking. Proceedings of Vision, Modeling and Visualization. Eurographics Association: 111-118. 2014
  Matthias Schröder, Mario Botsch
  (See online at https://dx.doi.org/10.2312/vmv.20141283)
• Real-Time Hand Tracking using Synergistic Inverse Kinematics, Proceedings of IEEE International Conference on Robotics and Automation (ICRA), 2014
  Matthias Schröder, Jonathan Maycock, Helge Ritter, Mario Botsch
  (See online at https://doi.org/10.1109/ICRA.2014.6907660)