Rollende Diffusionsweltmodelle für die 3D Umgebungswahrnehmung und Aktionsplanung in Intelligenten Systemen

• Antragsteller: Professor Dr. Jörg-Dieter Stückler
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 466606396

Autonome Roboter benötigen für die Planung und Ausführung von Handlungen in der Umgebung ein Verständnis über den Einfluss ihrer Aktionen. In diesem Projekt werden wir neuartige Methoden für die lernbasierte physikalische Simulation und Wahrnehmung von 3D Szenen entwickeln. Wir werden Lernverfahren für Weltmodelle erarbeiten, die es ermöglichen, probabilistische, multimodale Vorhersagen über die Bewegung von Objekten unter Interaktionen zu treffen. Basierend auf diesen Weltmodellen werden wir Methoden entwickeln, die die dynamische Umgebung in 3D aus Bildern einer RGB-D Kamera erfassen und das Umgebungsmodell für die Planung von Aktionen nutzen. Die Verfahren werden für die 3D Wahrnehmung von dynamischen Szenen und die Steuerung von autonomen Robotern für Objektmanipulationsaufgaben in virtuellen und realen Umgebungen untersucht. Wir werden neuartige Ansätze basierend auf Diffusionsmodellen verfolgen, die probabilistische, multimodale Dynamikvorhersagen unterstützen. Die Umgebung wird in volumetrischen Radianzfeldern mittels dynamischer 3D Gaußverteilungen (3D Gaussians) repräsentiert. Für die effiziente Berechnung für Generierung, Wahrnehmung und Planung werden wir Verfahren zur Vorhersage in rollenden Zeitfenstern und mit zeitlich multiresolutionalen Strategien entwickeln. Solche Weltmodelle können für das Szenenverständnis in virtuellen Assistenzsystemen genutzt werden, um neue Handlungsmöglichkeiten vorherzusehen und vorzuschlagen. In der Robotik können Weltmodelle genutzt werden, um flexibel und adaptiv ein Verständnis über die dynamischen Zusammenhänge der Umgebung zu gewinnen und zielgerichtete Aktionen des Roboters zu planen. Unsere Ansätze haben immenses Potenzial zukünftige Anwendungen für virtuelle Assistenten und in der Robotik in unstrukturierten, realen Umgebungen wie z.B. im Haushalt, Logistik, oder im Handwerk zu eröffnen. Darüber hinaus können Erkenntnisse aus diesem Projekt auch weitere Forschung in angrenzenden wissenschaftlichen Disziplinen wie z.B. den Neuro- und Kognitionswissenschaften inspirieren.

• DFG-Verfahren: Sachbeihilfen