Deep Models für die handgeführte Akquisition von Lichtfeldern

• Antragsteller: Dr. Paramanand Chandramouli
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 437172262

Image-based Rendering (IBR) ist ein zentrales und interdisziplinäres Forschungsthema in der Computergrafik und dem maschinellen Sehen (Computer Vision). Es umfasst die Erfassung, Darstellung und Synthese von Lichtfeldern, die in der Regel auf einer Reihe von zuvor aufgenommenen Bildern, d.h. Lichtfeldproben, basieren. Je nach Ansatz werden zusätzliche Tiefeninformationen für eine effiziente Bildinterpolation verwendet. Obwohl seit mehr als 20 Jahren erforscht, unterliegt die Erfassung hochwertiger Lichtfelddaten immer noch Einschränkungen in Bezug auf die erfassten Lichtfeldproben und/oder die Dimensionen der zugrundeliegenden, hochdimensionalen plenoptischen Funktion. Daher ist die Erfassung hochwertiger Lichtfelddaten entweder auf geringe Winkel- oder Raumvariationen (kleiner Basislinie) z.B. bei der Verwendung von plenoptischen Kameras beschränkt beschränkt oder erfordert ausgeklügelte und umfangreiche Hardware-Setups mit Dutzenden von Kameras. In letzter Zeit werden lernbasierte Ansätze auch in der Lichtfeldforschung, vor allem bei plenoptischen Kameras, d.h. für Lichtfelder mit kleiner Basislinie, eingesetzt.Ziel dieses Forschungsprojekts ist die Online-Erfassung von Lichtfelder für uneingeschränkte Szenenkonfigurationen und beliebiger Basislinie mit einer einzigen RGB-D-Kamera und unter Einbeziehung von Deep Learning Modellen. Hierbei werden zwei Forschungsrichtungen integriert, um dieses Ziel zu erreichen. Die erste Forschungsrichtung befasst sich mit der Entwicklung neuartiger Deep Learning Modelle, die Lichtfelder mit kleiner Basislinie effizient und generisch darstellen können. Sie ermöglichen eine effiziente Speicherung, Verarbeitung und Rekonstruktion von Lichtfeldern unter verschiedenen, meist dünnbesetzten Beobachtungsmodellen. Die zweite Forschungsrichtung konzentriert sich auf die progressive Rekonstruktion von 3D Lichtfeldern für beliebige Szenentopologien. Diese Forschungsrichtung erfordert neue Ansätze zur Szenenrepräsentation, Kamerapositionsschätzung und Datenakkumulation.Die Haupthypothese der Integration dieser Forschungslinien ist, dass die Deep Learning Modelle in der Lage sein werden, lokale Lichtfelder für beliebige Kamerabewegungen zu rekonstruieren. Dies wiederum ist die fundamentale Grundlage für eine hochpräzise Kamerapositionsschätzung und Korrespondenzfindung, die notwendig ist, um auch bei Szenen mit komplexen Reflexionseigenschaften eine progressive, qualitativ hochwertige und dichte Lichtfeldrekonstruktion online zu ermöglichen.

• DFG-Verfahren: Sachbeihilfen