Functional Lifting 2.0: Effiziente Konvexifizierungen für Bildverarbeitung und Computer Vision

• Antragsteller: Professor Dr. Daniel Cremers; Professor Dr. Jan Lellmann; Professor Dr. Michael Möller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2018 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 394737018

• Erstellungsjahr: 2024

Zusammenfassung der Projektergebnisse

Anwendungen aus dem Bereich der Computer Vision und der Bildanalyse erfordern häufig die numerische Optimierung einer Zielfunktion mit einer großen Anzahl an Unbekannten. In hochdimensionalen Problemen dieser Art können global optimale Lösungen im Allgemeinen nur gefunden werden, wenn die Zielfunktion eine günstige Struktur aufweist, insbesondere, wenn sie Konvexitätseigenschaften besitzt. Für den nichtkonvexen Fall ist es zielführend, die nichtkonvexe Funktion global oder iterativ konvex zu approximieren. Inhalt dieses Projekts war die Untersuchung einer speziellen Klasse konvexer Approximationen. Dabei werden die Unbekannten zunächst in einen höherdimensionalen Raum eingebettet (Lifting), so dass die nachfolgende Konvexifizierung näher an der Form der ursprünglichen Zielfunktion bleibt. Ein besonderer Fokus lag dabei auf Problemen, bei denen die Unbekannten Werte aus einem Kontinuum annehmen können, etwa aus einem Intervall oder, allgemeiner, aus einer Mannigfaltigkeit. Vor diesem Hintergrund wurden neuartige Ansätze gefunden, um bestimmte Klassen nichtkonvexer Probleme präziser als bisher zu konvexifizieren und neue theoretische Einsichten zu gewinnen, wie etwa den Beweis, dass eine Erhöhung der Einbettungsdimension tatsächlich zu genaueren konvexen Approximationen des ursprünglichen Problems führt. Im Rahmen des Projekts wurden auch eine Verbindung zur Theorie des dynamischen optimalen Transports sowie eine Erweiterung des Skalenraumansatzes vom klassischen nichtlinearen konvexen Fall auf den nichtkonvexen Fall identifiziert. Die praktische Anwendbarkeit und Überlegenheit der innerhalb des Projekts entwickelten Verfahren wurde anhand einer Vielzahl unterschiedlicher Anwendungen demonstriert, darunter Tiefenschätzung aus Stereoaufnahmen und Time-of-Flight-Daten, Multi-View-Triangulation, Bildsegmentierung, Terahertzbildgebung, Bewegungsschätzung, Registrierung biomedizinischer Bilddaten sowie diffusionsgewichtete Magnetresonanztomorgraphie.

Projektbezogene Publikationen (Auswahl)

• Composite Optimization by Nonconvex Majorization-Minimization. SIAM Journal on Imaging Sciences, 11(4), 2494-2528.
  Geiping, Jonas & Moeller, Michael
  
• Lifting layers: Analysis and applications. In Proceedings of the European Conference on Computer Vision (ECCV), pages 52–67, September
  Peter Ochs, Tim Meinhardt, Laura Leal-Taixe & Michael Moeller
  
• Lifting Vectorial Variational Problems: A Natural Formulation Based on Geometric Measure Theory and Discrete Exterior Calculus. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 11109-11118. IEEE.
  Möllenhoff, Thomas & Cremers, Daniel
  
• Fast convex relaxations using graph discretizations. In British Machine Vision Conference
  Jonas Geiping, Fjedor Gaede, Hartmut Bauermeister & Michael Moeller
  
• Lifting Methods for Manifold-Valued Variational Problems. Handbook of Variational Methods for Nonlinear Geometric Data, 95-119. Springer International Publishing.
  Vogt, Thomas; Strekalovskiy, Evgeny; Cremers, Daniel & Lellmann, Jan
  
• Inverse Scale Space Iterations for Non-convex Variational Problems Using Functional Lifting. Lecture Notes in Computer Science, 229-241. Springer International Publishing.
  Bednarski, Danielle & Lellmann, Jan
  
• A Cutting-Plane Method for Sublabel-Accurate Relaxation of Problems with Product Label Spaces. International Journal of Computer Vision, 131(1), 346-362.
  Ye, Zhenzhang; Haefner, Bjoern; Quéau, Yvain; Möllenhoff, Thomas & Cremers, Daniel
  
• Inverse Scale Space Iterations for Non-Convex Variational Problems: The Continuous and Discrete Case. Journal of Mathematical Imaging and Vision, 65(1), 124-139.
  Bednarski, Danielle & Lellmann, Jan
  
• Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields. SIAM Journal on Imaging Sciences, 15(3), 1253-1281.
  Bauermeister, Hartmut; Laude, Emanuel; Möllenhoff, Thomas; Moeller, Michael & Cremers, Daniel
  
• Semidefinite Relaxations for Robust Multiview Triangulation. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 749-757. IEEE.
  Härenstam-Nielsen, Linus; Zeller, Niclas & Cremers, Daniel