Rekonstruktion komplexer Deformationen in 3D Szenen aus Bild- und Tiefendaten

• Antragsteller: Professor Dr.-Ing. Reinhard Koch
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Messsysteme
• Förderung: Förderung von 2014 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 257332386

Während die 3D Rekonstruktion starrer Szenen in den letzten Jahren vielfach untersucht wurde, ist die Analyse von deformierbaren Szenen noch in der Erforschung. Die meisten Rekonstruktionsverfahren zur Verfolgung von Deformationen verwenden Merkmalskorrespondenzen als Eingabe, die über eine Bildsequenz hinweg verfolgt werden. Das Verfolgen von Merkmalen im Bild setzt jedoch voraus, dass zum einen genügend Anhaltspunkte durch Texturen oder Strukturen gegeben sind, zum anderen dass diese auch eindeutig verfolgt werden können. Diese Anforderung gilt nicht nur für Farbbilder, sondern auch für Tiefendaten, da auf Tiefe basierende Verfolgungssysteme auf ausreichend viele 3D Strukturen angewiesen sind um eine stabile Verfolgung zu erreichen. Da die Datengrundlage bei merkmalsbasierten Verfahren bereits eine Interpretation der Eingabedaten ist, ergeben sich inhärente Nachteile für diese Klasse von Algorithmen:1. Die Reduktion der komplexen Bilddaten auf Merkmalspositionen im Bild verwirft viel Information, die zum Lösen des Problems verwendet werden könnte.2. Die Optimierung erfolgt nicht direkt auf den Eingabedaten, ist somit immer etwas ungenau und eine Fehlerpropagierung vom Bildrauschen in den Parameterraum ist fehlerbehaftet.3. Die Existenz von falsch zugeordneten Korrespondenzen führt dazu, dass Fehlinformation als solche eingestuft und verworfen werden muss, was zu schwächeren Optimierungseigenschaften des Verfahrens führt.Diese Probleme können mit Rekonstruktionsverfahren umgangen werden die direkt auf den Eingabedaten arbeiten: Verfahren nach dem Prinzip der 'Analyse durch Synthese' (AbS) erzeugen ein 3D-Oberflächenmodell des verfolgten 3D-Objekts und synthetisieren ein virtuelles Kamerabild. Aus der Differenz zwischen synthetisiertem und realen Bild werden die Objektparameter analysiert. Ein Nachteil dieser Systeme ist, dass aufgrund der nicht gegebenen Linearisierbarkeit des direkten Problems eine aufwändige, globale Optimierung notwendig ist. Dafür kann aber die gesamte vorhandene Information optimal genutzt werden.Hauptziel des hier beantragten Forschungsprojekts ist es, die Vorteile bestehender AbS-Systeme und merkmalsbasierter Verfahren zu kombinieren und dabei die positiven Eigenschaften der direkten Optimierung zu erhalten. Die Informationen über die Bewegung von Merkmalspunkten im Bild sollen dabei in die Optimierung einfließen ohne das (direkte) Optimierungsziel zu verändern. Dies soll erreicht werden, indem erkannte Bewegungen in den Parameterraum propagiert werden, um dort dem Optimierer als 'Wegweiser' zu dienen. Die Entwicklung eines adaptiven Deformationsmodells soll zusätzlich die Vielseitigkeit des Verfahrens gewährleisten bei gleichzeitiger Reduzierung des Optimierungsaufwands.

• DFG-Verfahren: Sachbeihilfen