ProPhys: Probabilitische Methoden der Starrkörper-Physik Simulation für das Bildbasierte Physikalische Szenenverständnis

• Antragsteller: Professor Dr. Jörg-Dieter Stückler
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 466606396

Intelligente Agenten benötigen ein Verständnis Ihrer Umgebung, um in ihr zielgerichtet zu handeln. In den vergangenen Jahren wurde eine Vielzahl von Ansätzen für das Szenenverständnis aus Bildern entwickelt, die Szenengeometrie rekonstruieren und Objekte detektieren. Diese Repräsentationen beinhalten jedoch kein grundlegendes Verständnis von physikalischen Eigenschaften der Umgebung auf der Ebene der Newtonschen Mechanik. Dieses physikalische Verständnis würde intelligente Roboter dazu befähigen, die Auswirkungen ihrer Aktionen einzuschätzen und damit zu planen, oder neue Anwendungen der virtuellen Realität ermöglichen, die physikalische Eigenschaften visualisieren.In diesem Projekt werden wir neuartige Methoden des visuellen Szenenverständnisses untersuchen, die physikalische Modellierung mit probabilistischer Inferenz und Maschinellem Lernen verbinden. Wir werden probabilistische Simulationsmethoden erforschen, die Modellunsicherheit berücksichtigen. Dies soll probabilistische Vorhersage und Inferenz ermöglichen, sodass Unsicherheit in Messungen, Parametern, Zustandsschätzungen und Vorwissen genutzt werden können. Aufbauend auf diesen probabilistischen Simulationsmethoden werden wir neuartige Ansätze zum physikalischen 3D Szenenverständnis entwickeln, die Objekte detektieren und ihre Lage und Bewegung in 3D physikalisch plausibel schätzen und physikalische Eigenschaften der Szene erfassen. Dadurch können realistischere Szenenrepräsentationen als zuvor erlangt und herausfordernde Schätzprobleme behandelt werden, in denen sich Objekte verdecken oder miteinander kollidieren. Wir werden auch die Observierbarkeit von physikalischen Eigenschaften wie Masse oder Reibung aus Bildmessungen und wirkenden Kräften untersuchen und neue Datensätze und Methoden zur Analyse und Evaluation vorschlagen. Diese können als Orientierungshilfe für zukünftige Forschung und Anwendung dienen, um die Machbarkeit von bildbasiertem physikalischem Szenenverständnis zu analysieren.Die in diesem Projekt gewonnenen Kenntnisse zum physikalischen Szenenverständnis aus Bildern haben das Potential neue Forschung und Anwendungen in intelligenter Robotik oder Virtueller Realität zu ermöglichen.

• DFG-Verfahren: Sachbeihilfen