Episodische Semantische Szenenanalyse

• Antragsteller: Professor Dr. Nassir Navab, Ph.D.; Dr.-Ing. Federico Tombari, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2017 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 381855581

Die Forschungsgebiete Objekterkennung, 3D Rekonstruktion und simultane Lokalisierung und Kartenerstellung werden erwachsen. In diesem Forschungsprojekt möchten wir dieses Potential nutzen um hochskalierbar und effizient eine dreidimensionale, semantische Repräsentation der Umgebung zu erstellen. Diese kann dann vielfältig eingesetzt werden, zum Beispiel in der Robotik oder der erweiterten Realität. Wir behandeln zwei spezifische Problemstellungen: Die Entwicklung des semantischen Szenenmodells basierend auf Objekten und deren Beziehungen zueinander und dessen Erweiterung zur effizienten Behandlung von Änderungen in der Umgebung zwischen verschiedenen Episoden. Die Ziele des Projekts sind einerseits ein konzeptionelles Framework zur Episodischen und Semantischen Szenen Analyse (ESSA) und andererseits ein modulares Softwareframework für Innenraumwahrnehmungssysteme das auf der Ebene von Strukturelementen und Objekten in der Szene arbeitet und effizient räumlich große Szenen zeitlich und semantisch verstehen kann.Ansatz: Wir entwickeln ein hierarchisches Szenenmodell, das auf dem Stand der Technik von Wahrnehmungsalgorithmen zur dreidimensionalen Objekterkennung und simultaner Lokalisierung und Kartenerstellung basiert. Das Modell erstreckt sich von geometrischen Primitiven (z.B. Ebenen), über Objekte (z.B. Stühle, Tische) bis hin zu Konstellationen von Objekten (z.B. Tischgedeck) und deren Eigenschaften (z.B. Tischgedeck auf dem Esstisch). Diese Repräsentation wird Episodenübergreifend gespeichert und aktualisiert was das Verständnis von Änderungen in der Szene extrem vereinfacht. Gleichzeitig können Informationen die zwischen den geometrischen und semantischen Ebenen ausgetauscht werden, benutzt werden, um sowohl die Rekonstruktion als auch die Objekterkennung zu verbessern.DFG Einfluss und Ergebnisse: Das Ergebnis dieses Projekt sind Beiträge zu sowohl Wissenschaft als auch Software die den momentanen und zukünftigen Stand der Technik in wahrnehmungsbasierten Anwendungen für Mensch-Maschine Kollaboration und Robotik erweitern und einbinden. Im Verlauf des Projekts werden wir des Weiteren Datensätze entwickeln und publizieren die realistische Anwendungsfälle umfassen. Ziel des Projekts ist 1) ein theoretisches Framework das Aussagen über die räumliche Struktur und zeitliche Dynamik zulässt. 2) Software und Datensätze die die Weiterentwicklung des ESSA Systems zulassen und 3) Anwendungen des Models in der Robotik und erweiterten Realität. Das Erreichen dieser Ziele verbessert und erweitert die Methoden der wahrnehmungsbasierten Mensch-Maschine-Umwelt Interaktion.

• DFG-Verfahren: Sachbeihilfen