Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen Sensor- und Kontrolldaten
Final Report Abstract
Die Erfassung, Repräsentation und Charakterisierung von komplexen Bewegungsabläufen spielt eine grundlegende Rolle in Gebieten wie der Medizin, den Sportwissenschaften und der Computergraphik. Die meisten der bisher verfügbaren Systeme zur Bewegungserfassung, die meist auf optischen Sensoren (z. B. Kamera-Arrays) basieren, verursachen allerdings oft hohe Anschaffungs- und Betriebskosten und erfordern einen hohen zeitlichen Aufwand für die Messvorbereitungen. Erst seit wenigen Jahren sind kostengünstige Alternativsystem zur Bewegungserfassung auf dem Markt erhältlich, wie z. B. Tiefenkamera-Systeme oder Inertial-Systeme die auf Beschleunigungs- und Drehratensensoren basieren. Allerdings sind die resultierenden Sensordaten oft niedrigdimensional und verrauscht, was eine Rekonstruktion hochdimensionaler Bewegungen ohne zusätzliches Wissen nicht erlaubt. In dem zweijährigen REKOBA-Projekt ging es um die systematische Erforschung von Methoden und die Implementation eines echtzeitfähigen Systems zur datengestützten Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen Sensordaten. Hierbei konnten im Rahmen des REKOBA-Projekts in mehrfacher Hinsicht wesentliche Fortschritte erzielt werden. Die wesentlichen im REKOBA-Projekt erzielten Fortschritte können wie folgt zusammengefasst werden. • Es wurde ein Konzept für ein echtzeitfähiges Gesamtsystem, welches die Rekonstruktion menschlicher Bewegungsabläufe aus niedrigdimensionalen Beschleunigungsinformationen erlaubt, konzipiert und prototypisch implementiert. • Eine neuartige Datenstruktur in Form eines Lazy-Neighborhood-Graphen wurde entwickelt und umgesetzt. Diese Datenstruktur erlaubt einen sehr effizienten und kontinuierlichen Abgleich der Sensordaten mit abgespeicherten Bewegungssequenzen und stellt damit eine wesentliche Grundlage für die Echtzeitfähigkeit des Gesamtsystems dar. • Ein neuartiges Optimierungsmodel wurde erstellt, welches durch Integration unterschiedlicher Priors (hinsichtlich Posenverteilung, zeitlichem Kontext, Glattheit, etc.) bei der Bewegungsrekonstruktion einen robusten Umgang mit Variabilitäten und Ambiguitäten in den Bewegungsabläufen und Sensordaten erlaubt. • Verfahren zur Extraktion von Bewegungsmerkmale aus unterschiedlichen Sensormodalitäten wurden entwickelt. Weiterhin wurde die Güte verschiedener Merkmalsdarstellungen im Kontext einer cross-modalen Bewegungsklassifikation analysiert. • In einer Kooperation mit Prof. Rosenhahn aus dem Bereich Computer-Vision wurde erforscht, wie sich Inertialsensoren einsetzen lassen, um optisch-basiertes Bewegungs-Tracking und die Rekonstruktion menschlicher 3D-Posen zu stabilisieren. • Weiterhin wurde in Zusammenarbeit mit Sportlern untersucht, wie sich die entwickelten Methoden des Bewegungsabgleichs im Kontext einer automatisierten Klassifikation von Trampolinsprüngen einsetzen lassen. Die erwähnten Punkte stellen wesentliche Fortschritte gegenüber dem Stand des Wissens zum Zeitpunkt der Antragstellung dar. Die technischen und konzeptioniellen Neuerungen sind sowohl von theoretischem Interesse als auch von praktischer Relevanz. Dies wurde durch die prototypische Implementation eines Gesamtsystem zur Bewegungsrekonstruktion demonstriert. Weiterhin wurde in unterschiedlichen Kooperationen gezeigt, wie sich die von uns erforschten Methoden zum cross-modalen Bewegungsabgleich auch gewinnbringend in Anwendungen anderer Bereiche einsetzen lassen, wie z. B. für die Posenschätzung im Bereich Computer-Vision und der Bewegungsklassifikation im Bereich der Sportwissenschaften. Methodisch gesehen handelt es sich bei der im REKOBA-Projekt bearbeiteten Fragestellung um einen Spezialfall der allgemeineren Fragestellung, wie man Bewegungsabläufe effizient synthetisieren kann, die von niedrigdimensionalen Kontrollsignalen gesteuert werden und zusätzlich andere kinematische und physikalische Nebenbedingungen erfüllen. In zukünftigen Arbeiten sollten allgemeinere Untersuchungen im Umfeld der Bewegungs-Controller vorgenommen werden. Im REKOBA-Projekt wurden inbesondere auf Inertialsensoren basierende Systeme zur Bewegungserfassung studiert, die aufgrund ihrer kostengünstigen Produktion immer mehr in Massenprodukten eingesetzt werden und damit an Bedeutung zunehmen. Die Rekonstruktion und Klassifikation von Ganzkörperbewegungen aus nur wenigen, etwa an einer Gürtelschlaufe angebrachten oder in Schuhen integrierten Beschleunigungs– und Drehratensensoren sind von grundlegender Bedeutung. Neben den üblichen Anwendungen in der Spieleindustrie erwarten wir für die Zukunft auch Anwendungen in ganz unterschiedlichen Bereichen wie den Sportwissenschaften (Spitzen- und Breitensport) und der Medizin (Rehabilitation). Hier bieten insbesondere die in dem Projekt entwickelten effizienten Techniken zum Retrieval von ähnlichen Bewegungssegmenten in großen Datenbanken die Möglichkeit zu einer Antizipation des Bewegungsverlaufs (in einem gewissen Zeitfenster). Die gefunden ähnlichen Bewegungen in einer Bewegungsdatenbank liefern nicht nur a priori Wissen zu der Historie von Bewegungen, sondern bergen auch empirisches Wissen über mögliche Fortentwicklungen des momentanen Bewegungszustands. Daraus ergeben sich z.B. Möglichkeiten zu vollständig latenzzeitfreien antizipativen Bewegungsrekonstruktionen und antizipativen Feedbacks oder auch der Kollisionsvermeidung im Kontext der Robotik.
Publications
- Fast Local and Global Similarity Searches in Large Motion Capture Databases. In Proc. ACM SIGGRAPH/Eurographics Symposium on Computer Animation (SCA), pages 1–10, Madrid, Spain, July 2010
Björn Krüger, Jochen Tautges, Andreas Weber, Arno Zinke
- Multisensor-fusion for 3d full-body human motion capture. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 663–670, San Francisco, CA, USA, June 2010
Gerard Pons-Moll, Andreas Baak, Thomas Helten, Meinard Müller, Hans-Peter Seidel, Bodo Rosenhahn
- Data-Driven Completion of Motion Capture Data. In: Workshop on Virtual Reality Interaction and Physical Simulation (VRIPHYS), 2011
Jan Baumann, Björn Krüger, Arno Zinke, Andreas Weber
- Motion reconstruction using sparse accelerometer data. ACM Transactions on Graphics, 30(3), 2011
Jochen Tautges, Arno Zinke, Björn Krüger, Jan Baumann, Andreas Weber, Thomas Helten, Meinard Müller, Hans-Peter Seidel, Bernd Eberhardt
- Towards cross-modal comparison of human motion data. In Proceedings of the 33th Annual Symposium of the German Association for Pattern Recognition (DAGM), Lecture Notes in Computer Science, Vol. 6835, pages 61–70, 2011
Thomas Helten, Meinard Müller, Jochen Tautges, Andreas Weber, Hans-Peter Seidel
