Differenzierbare Physiksimulatoren für realistische 3D Rekonstruktion

• Antragsteller: Professor Dr. Daniel Cremers
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 413611294

Die Rekonstruktion von 3D Struktur aus Kameradaten ist eines der klassischen Probleme der Bildverarbeitung. Auch wenn die Methoden über die letzten Jahre enorme Fortschritte gemacht haben und inzwischen ganze Handlungen aus synchronen Videos in 3D rekonstruiert werden können, beschränken sich die meisten Verfahren darauf, die Oberfläche des Objektes zu rekonstruieren. Ziel des vorliegenden Projektes ist es dagegen, direkt aus den Kameradaten die gesamte zugrunde liegende Physik zu rekonstruieren - das bedeutet, dass wir neben der Form des Objektes auch seine physikalischen Eigenschaften wie Masse, Elastizität, Impulse und innere und äußere Kräfte bestimmen wollen. Wir glauben, dass somit ein vollständigeres Verständnis der gefilmten Handlung entsteht. Dies sollte es ermöglichen, aus deutlich weniger Beobachtungen deutlich vollständigere Rekonstruktionen zu erhalten. Zudem sollte die geschätzte physikalische Simulation auch bessere Extrapolationen der Handlung in die Zukunft erlauben und damit belastbarere Vorhersagen darüber, wie die Handlung sich weiter entwickeln wird. Methodisch wollen wir das Problem sowohl als inverses Problem, als aber auch mit Hilfe differenzierbarer Physiksimulatoren lösen. Kernidee des letzteren Ansatzes ist es, dass wir ein Encoder-Decoder-Netzwerk einsetzen, bei dem der Decoder die differenzierbare Simulation des Videos aus Simulationsparametern darstellt und der Encoder, welcher einem Inputvideo geeignete Simulationsparameter zuordnet, aus Trainingsdaten gelernt werden soll.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 2987: Lernen und Simulieren im Visual Computing