Progressive, räumlich-zeitlich konsistente Inline-Aktivitätsrekonstruktion und -erkennung

• Antragsteller: Professor Dr.-Ing. Andreas Kolb; Professor Dr. Kristof van Laerhoven
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 561591579

Die körperlichen Aktivitäten, die wir ausüben, spielen eine wichtige Rolle für die Gestaltung unseres Lebens. Die Art der Aktivität und die Weise, wie sie ausgeführt wird, kann Aufschluss über die Absicht, die Routine, die körperliche Verfassung und den Geisteszustand einer Person geben. Daher wächst in verschiedenen Forschungsbereichen, von der Kognitionswissenschaft bis zum Gesundheitswesen, das Interesse an der maschinellen Erkennung menschlicher Aktivitäten erheblich. Während sich die derzeitigen Ansätze zur raum-zeitlichen Aktivitätserkennung hauptsächlich auf die direkte Analyse von Sensordaten, z.B., von IMUs und abstrakten Darstellungen der Objekte in der Umgebung des Benutzers konzentrieren, schlägt dieses Projekt vor, die Stärke der Echtzeit-Verfahren zur Erzeugung konsistenter semantischer 3D-Szenenrekonstruktionen für die interaktive raum-zeitliche Aktivitätsanalyse und -abstraktion zu nutzen. Dieses Projekt konzentriert sich auf die Erfassung menschlicher Aktivitäten mit Hilfe von Daten aus körpergetragenen RGB-D-Kameras, Eye-Tracking-Brillen und tragbaren IMUs. Ziel ist es, ein neues Paradigma zu erforschen, das von der Aktivitätserkennung nach der Erfassung zu einer interaktiven Aktivitätsrekonstruktion und -erkennung übergeht, indem es schrittweise die Geometrie der Umgebung des Benutzers und aller manipulierten Objekte darin sowie die Trajektorien der Hand des Benutzers und der Objekte rekonstruiert. Darüber hinaus umfasst der vorgeschlagene Ansatz neuartige Methoden zur - idealerweise echtzeitfähigen - Annotation und fortschreitenden visuell unterstützten Analyse von Aktivitäten und Aktivitätssequenzen. Dieses interaktive Feedback eröffnet dem Benutzer als Domänenexperten ein völlig neues Paradigma zur interaktiven Überwachung von bislang ungesehenen und neuen Aktivitäten und Aktivitätssequenzen. Das vorgeschlagene Konzept stellt drei Haupthypothesen auf: (1) Die semantische Aktivitätsfusion, d.h. die Übertragung und Erweiterung von Methoden aus der semantischen Online-Szenenrekonstruktion, ermöglicht eine ganzheitliche Modellierung und Analyse der beobachteten Aktivitätsprozesse. (2) Die kurzfristige Analyse und Abstraktion von Aktivitäten löst die Probleme der Trainingsdaten beim maschinellen Lernen zur Aktivitätserkennung. (3) Die Integration eines visuellen Feedbacks ermöglicht eine Online-Fusion von Nutzereingaben und führt zu genaueren räumlichen Aktivitätsmodellen und zu einem leichteren Prozess der Überwachung menschlicher Aktivitäten. In diesem Projekt werden zwei Prototypen entwickelt, um die auf körpergetragenen Sensoren basierende Methodik zu validieren, die eine ganzheitliche Erfassung von Benutzeraktivitäten ermöglicht, wobei auf wiederholbare und sicherheitskritische manuelle Prozesse besonders Wert gelegt wird.

• DFG-Verfahren: Sachbeihilfen