BodyLie - SLAM

• Antragsteller: Dr. Nicolas Mandel, Ph.D.
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 565664207

Die 3D Positionsbestimmung des Menschen im Raum aus monokularen Bildern ist ein fundamentales Problem, das von der Mensch-Roboter Interaktion über die Ergonomie bis zur biomechanischen Analyse viele Anwendungsbereiche findet. Obwohl Lernmodelle in diesem Bereich enorme Fortschritte erreicht haben und in Laborumgebungen mit kommerziellen Tracking Systemen konkurrieren, bleibt die Leistung in offenen Umgebungen hinter den Erwartungen zurück. Das Ziel des Projektes ist die Erstellung und Implementierung eines grey-box Modells, das die Vorteile von Lernverfahren und physischen Modellen kombiniert. Dazu wird ein 3D Bewegungsmodell des menschlichen Körpers mit einem Kameramodell kombiniert, um die 2D Projektion des Körpers in den Kamerabildern mit statischen Landmarken zu verbinden und eine 3D Rekonstruktion zu schaffen. Als Fundament dient eine Simultaneous Localisation and Mapping (SLAM) - Formulierung in Form eines Factor Graphs, deren grundlegende Mathematik, Lie Gruppen, benutzt wird um menschliche Körperbewegungen zu modellieren. Das Ergebnis ist eine Repräsentation des Körpers und der Kamera in 3D über die Zeit, welche die Unsicherheiten des Modells beinhaltet. Die Integration der Unsicherheit ermöglicht Rückschlüsse über die Eigenschaften des Modells. Im Laufe des Projekts wird untersucht, wie empfindlich das Modell auf Einflüsse von Bewegung und Erscheinung reagiert, und welche offenen Probleme der 3D Rekonstruktion durch die zusätzlichen Informationen gelöst werden können. Weiterhin wird die Auswirkung der generierten Kartendarstellung auf nachgelagerte Analysen wie Ereignisklassifizierung, kinematische Analysen oder biomedizinische Bewertungen untersucht. Die wichtigsten konkreten Ziele sind: • Entwicklung eines physikalisch konsistenten Modells unter Verwendung von Lie-Gruppen-Mathematik, das die menschliche Körperbewegung zusammen mit der Kamerabewegung und der Beobachtungserzeugung integriert • Identifizierung oder Sammlung eines Validierungsdatensatzes mit 3D Daten für die menschliche Pose und die Kamerabewegung • Entwicklung eines Softwarepakets, das 3D menschliche Bewegung, 2D Erkennungsmodelle und Faktorgraphenoptimierung integriert. • Durchführung einer Sensitivitätsanalyse, um Robustheitsprobleme und das Potenzial für Lösungen zu offenen Problemen zu identifizieren. • Untersuchung der Verwendung der Darstellung mit der Unsicherheit als Basis für die Aktionserkennung. • Erforschung des Potenzials, Informationen aus der Faktorgraphenoptimierung an den Detektor zurückzumelden. Dieses Projekt zielt darauf ab, eine robuste und verallgemeinerbare Lösung zu entwickeln, die die 3D-Erfassung der menschlichen Pose so zugänglich macht wie SLAM. Es soll die Anwendung dieser Modelle in Umgebungen ermöglichen, in denen die Argumentation über menschliche Posen von entscheidender Bedeutung ist, wie z. B. in der biomechanischen Analyse oder der Mensch-Roboter-Interaktion.

• DFG-Verfahren: WBP Stipendium
• Internationaler Bezug: USA
• Gastgeber: Professor Ehsan Adeli, Ph.D.