Variationsmethoden zur Fusion von Shape-from-Shading und Stereo

• Applicants: Professor Dr. Michael Breuß; Professor Dr.-Ing. Andrés Bruhn
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2012 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 214118604

• Final Report Year: 2016

Final Report Abstract

Im Rahmen des Projekts wurden drei wichtige Beiträge im Bereich perspektivisches Shape from Shading geleistet: (i) Zum einen wurde im Bereich der PDE-basierten Verfahren eine neue Klasse von Ansätzen in sphärischen Koordinaten entwickelt, die die einfache Modellierung von solchen Szenarien ermöglichen, bei denen die Lichtquelle nicht im Kamerazentrum lokalisiert ist. Hierbei wurden sowohl Lambertsche als auch nicht-Lambertsche Reflexionsmodelle betrachtet. Zudem wurde aus numerischer Sicht ein hocheffizienter Algorithmus zur Lösung der resultierenden hyperbolischen Hamilton-Jacobi-Gleichungen vorgestellt. Im Gegensatz zu existierenden Algorithmen arbeitet dieses speziell adaptierte Fast-Marching-Verfahren jedoch dem Modell entsprechend auf sphärischen Koordinaten, um eine effiziente Berechnung zu gewährleisten. (ii) Zum anderen wurden auf Basis einer axialen Parametrisierung in kartesischen Koordinaten neuartige Variationsansätze entwickelt, die Abweichungen direkt von der PDE oder vom photometrischen Rückprojektionsfehler bestrafen und die Lösung gleichzeitig mit Glattheitstermen zweiter Ordnung regularisieren. Die so modellierten Ansätze zeigten nicht nur ein hohe Genauigkeit bei der Rekonstruktion von Objekten, sie erwiesen sich auch als deutlich robuster als entsprechende PDE-basierte Modelle in der Gegenwart von Rauschen oder fehlender Bildinformation. Aus numerischer Sicht wurde neben verschiedenen Varianten von expliziten Verfahren eine hierarchische inkrementelle Minimierung in Form eines hyperbolischen Warping-Schemas eingeführt, das durch eine Linearisierung des Reflexionsmodells mit anschließendem elliptischen Löser zu einer Beschleunigung von über drei Größenordnungen führte. Zudem ermöglichte die Linearisierung den einfachen Einsatz von nicht-Lambertschen Reflexionsmodellen, da Ableitungen des Reflextionsmodells rein numerisch bestimmt werden und somit keine analytische Herleitung der Ableitungen notwendig ist. (iii) Schließlich wurde erstmals ein Verfahren entwickelt, das SfS und Stereo im Rahmen eines gemeinsamen Variationsansatzes kombiniert und neben der Tiefe gleichzeitig auch noch den lokalen Lichteinfall und das lokale Albedo mitschätzt. Hierbei kamen neben dem SfS-Datenterm und einem Multiview-Stereo-Datenterm auch speziell adaptierte Regularisierer für die verschiedenen Größen zum Einsatz. Insbesondere fand auf dem Gebiet des perspektivischen SfS erstmals ein anisotroper Glattheitsterm zweiter Ordnung Verwendung. Dieser stellt neben der Verwendung von Schattierungsinformation im SfS-Datenterm einen weiteren Mechanismus zum Erhalt feiner Details dar. Durch den allgemeinen Ansatz mit gleichzeitiger Bestimmung von Lichteinfall und Albedo war nicht nur eine Anwendung auf Realweltbilder möglich. Vergleiche mit sequentiellen SfS-Stereo-Verfahren und reinen Stereoansätzen zeigten zudem eine bessere Genauigkeit und einen höheren Detailgrad der berechneten Rekonstruktionen. Aus numerischer Sicht wurde ebenfalls Neuland betreten. Hier wurde das neue im Rahmen des variationellen SfS entwickelte hyperbolische Warping-Verfahren auf den kombinierten Fall erweitert. Somit wurde nach der Linearisierung aller Terme erstmals eine effiziente und gemeinsame Schätzung aller Unbekannten (Tiefe, lokaler Lichteinfall, lokales Albedo) möglich. Insgesamt konnte durch die im Projekt entwickelten Verfahren und erzielten Ergebnisse die Forschung im Bereich des perspektivischen SfS deutlich vorangebracht werden. Auch wurden mit den gewonnen Erkenntnissen zahlreiche neue Forschungsfragen aufgeworfen, die es in zukünftigen Projekten zu beantworten gilt.

Publications

• Generalised perspective shape from shading in spherical coordinates. In Proc. International Conference on Scale Space and Variational Methods in Computer Vision (SSVM), Lecture Notes in Computer Science, Vol. 7893, 222-233, Springer, 2013
  S. Galliani, Y. C. Ju, M. Breuß, A. Bruhn
  
• Generalised perspective shape from shading with Oren-Nayar reflectance. In Proc. British Machine Vision Conference (BMVC), Art. 42, BMVA Press, 2013
  Y. C. Ju, S. Tozza, M. Breuß, A. Bruhn, A. Kleefeld
  
• An efficient linearisation approach for variational perspective shape from shading. In Proc. German Conference on Pattern Recognition (GCPR), Lecture Notes in Computer Science, Vol. 9358, 249-261, Springer, 2015
  D. Maurer, Y.-C. Ju, M. Breuß, A. Bruhn
  
• Variational perspective shape from shading. In Proc. International Conference on Scale Space and Variational Methods in Computer Vision (SSVM), Lecture Notes in Computer Science, Vol. 9087, 538-550, Springer, 2015
  Y.-C. Ju, D. Maurer, M. Breuß, A. Bruhn
  
• Direct variational perspective shape from shading with Cartesian depth parametrisation. In: Breuß M., Bruckstein A., Maragos P., Wuhrer S. (eds) Perspectives in Shape Analysis. Mathematics and Visualization. Springer, Cham, 2016, pp 43-72
  Y.-C. Ju, D. Maurer, M. Breuß, A. Bruhn