Non-Smooth Variational Models with Second Order and Local Anisotropy Priors for Restoring Cyclic and Manifold-Valued Images

• Applicants: Professor Dr. Ronny Bergmann; Professor Dr. Andreas Weinmann
• Subject Area: Mathematics
• Term: from 2015 to 2019
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 288750882

• Final Report Year: 2020

Final Report Abstract

Moderne Bildgebungstechniken wie Interferometric Synthetic Aperture Radar (InSAR), diffusionsgewichtete Magnetresonanztomografie (DTMRI) oder Electron Backscatter Diffraction (EBSD) liefern Bildaufnahmen, deren Werte in einer Mannigfaltigkeit liegen. Verschiedene Farbräume von Bildern sowie die Arbeit mit Kohärenzmatrizen von Bildattributen erfordern ebenfalls die Auseinandersetzung mit mannigfaltigkeitswertigen Funktionen. Basierend auf Arbeiten der Antragsteller zur S1-wertigen Bildverarbeitung, wurden im Projekt neue Variationsmodelle zur Restauration verrauschte oder verlustbehafteter Daten, deren Werte auf einer Riemannschen Mannigfaltigkeit liegen, erstellt und deren Eigenschaften analysiert. Es wurden nichtglatte Modelle entwickelt, die zweite Differenzen beinhalten, und somit die Rekonstruktionsqualität in glatten Bereichen verbessern. Des Weiteren wurden Richtungsinformationen und Anisotropien mit einbezogen und das Total Generalized Variation (TGV) Modell von Bredies et al. für das mannigfaltigkeitswertige Setting verallgemeinert. Überdies wurden indirekte Meßterme in die Modelle miteinbezogen, um dadurch insbesondere Entfaltungsprobleme in einem mannigfaltigkeitswertigen Setting zu realisieren. Verschiedene effiziente Algorithmen wie Half-Quadratic Minimization, Cyclic Proximal Point Algorithmen, sowie der Douglas Rachford Algorithmus wurden für Funktionen mit Werten in bestimmten Mannigfaltigkeiten entwickelt, ihr Konvergenzverhalten untersucht und die Verfahren implementiert. Eine besondere Rolle spielten dabei Hadamard Räume, für die bestimmte Kalküle aus der konvexen Analysis übertragbar sind. Es wurden interessante theoretische Resultate, beispielsweise zur Konvergenz von Funktionen und ihrer Moreau-Einhüllenden auf Hadamardräumen erzielt. Die entwickelten Algorithmen und Beispiele in den Veröffentlichungen wurden im Public Software Paket MVIRT verfügbar gemacht. Über den Antrag hinaus, wurden nichtlokale patch-basierte stochastische Methoden, wie das nichtlokale Bayessche Modell (MMSE) von Lebrun et al. auf mannigfaltigkeitswertige Bilder übertragen. Dabei haben sich die Antragsteller u.a. mit der Modellierung von Gaussschem Rauschen auf Mannigfaltigkeiten auseinandergesetzt. Des Weiteren wurden Modelle zur „sparse regularization" von mannigfaltigkeits-wertigen Daten bezüglich interpolatorischer Wavelet/Multiskalen-Transformationen nach Donoho et al. entwickelt. Schließlich konnte das zeitdiskrete Metamorphosis Modell von Effland et al. für das mannigfaltigkeitswertige Setting verallgemeinert werden. Die Implementierung erfordert Multiskalenmethoden auf ineinandergeschachtelten Gittern. Insbesondere fand das Modell dann konkret Anwendung bei der Colorisierung von Porträtfotos in passenden Farbräumen, sowie bei der Lösung schwieriger inverser Probleme, wie beispielsweise der limited angle Tomographie, mit verfügbarem Templatebild.

Publications

• “A parallel Douglas Rachford algorithm for minimizing ROF-like functionals on images with values in symmetric Hadamard manifolds”. In: SIAM Journal on Imaging Sciences 9.4 (2016), pp. 901–937
  Bergmann, Ronny; Persch, Johannes & Steidl, Gabriele
  
• “A Second Order Non-Smooth Variational Model for Restoring Manifold-Valued Images”. In: SIAM Journal on Scientific Computing 38.1 (2016), A567–A597
  Bačák, Miroslav; Bergmann, Ronny; Steidl, Gabriele & Weinmann, Andreas
  
• “A second-order TV-type approach for inpainting and denoising higher dimensional combined cyclic and vector space data”. In: Journal of Mathematical Imaging and Vision 55.3 (2016), pp. 401–427
  Bergmann, Ronny & Weinmann, Andreas
  
• “A Nonlocal Denoising Algorithm for ManifoldValued Images Using Second Order Statistics”. In: SIAM Journal on Imaging Sciences 10.1 (2017), pp. 416–448
  Laus, Friederike; Nikolova, Mila; Persch, Johannes & Steidl, Gabriele
  
• “Morphing of manifold-valued images inspired by discrete geodesics in image spaces”. In: SIAM Journal on Imaging Sciences 11.3 (2018), pp. 1898– 1930
  Neumayer, Sebastian; Persch, Johannes & Steidl, Gabriele
  
• “Priors with Coupled First and Second Order Dierences for Manifold-Valued Image Processing”. In: Journal of Mathematical Imaging and Vision 60.9 (2018), pp. 1459–1481
  Bergmann, Ronny; Fitschen, Jan Henrik; Persch, Johannes & Steidl, Gabriele
  
• “Total Generalized Variation for Manifold-Valued Data”. In: SIAM Journal on Imaging Sciences 11.3 (2018), pp. 1785–1848
  Bredies, K.; Holler, M.; Storath, M. & Weinmann, A.
  
• “Total Variation Regularization of Pose Signals With an Application to 3D Freehand Ultrasound”. In: IEEE Transactions on Medical Imaging 38.10 (2019), pp. 2245–2258
  Esposito, Marco; Hennersperger, Christoph; Gobl, Rudiger; Demaret, Laurent; Storath, Martin; Navab, Nassir; Baust, Maximilian & Weinmann, Andreas
  
• “Variational Regularization of Inverse Problems for ManifoldValued Data”. In: Information and Inference: A Journal of the IMA (2020)
  Storath, Martin & Weinmann, Andreas