Splitting Methods for 3D Reconstruction and SLAM

• Applicant: Professor Dr. Daniel Cremers, since 8/2020
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2018 to 2023
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 410252185

• Final Report Year: 2024

Final Report Abstract

In diesem Projekt haben wir in erster Linie neue numerische Verfahren (unter anderem Splitting Verfahren) für die 3D Rekonstruktion und die gleichzeitige Optimierung von 3D Welt und Kamerapositionen (SLAM / Bundle Adjustment) entwickelt. Zu diesem Zweck lösen wir die zugrundeliegenden Optimierungsprobleme mit neuen Techniken wie der Nullraum Marginalisierung, numerischem Splitting, mehrdimensionalen konjugierten Gradienten oder matrixwertigen Potenzreihen. Die entsprechenden Lösungen sind signifikant schneller (bis zu 71% schneller als der state-of-the-art) und teilweise deutlich speichereffizienter (bis zu fünf mal weniger Speicherbedarf) als die existierenden Alternativen. Damit eröffnen diese Methoden den Weg zu deutlich größeren Rekonstruktionsproblemen, für die herkömmliche Verfahren zu langsam oder zu speicherintensiv sind.

Publications

• A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization, In International Conference on Artificial Intelligence and Statistics (AISTATS), 2018
  E. Laude, T. Wu & D. Cremers
  
• Optimization of Inf-Convolution Regularized Nonconvex Composite Problems, In International Conference on Artificial Intelligence and Statistics (AISTATS), 2019
  E. Laude, T. Wu & D. Cremers
  
• Distributed Photometric Bundle Adjustment. 2020 International Conference on 3D Vision (3DV), 140-149. IEEE.
  Demmel, Nikolaus; Gao, Maolin; Laude, Emanuel; Wu, Tao & Cremers, Daniel
  
• Visual-Inertial Mapping With Non-Linear Factor Recovery. IEEE Robotics and Automation Letters, 5(2), 422-429.
  Usenko, Vladyslav; Demmel, Nikolaus; Schubert, David; Stuckler, Jorg & Cremers, Daniel
  
• Multidirectional Conjugate Gradients for Scalable Bundle Adjustment, In German Conference on Pattern Recognition (GCPR), 2021
  S. Weber, N. Demmel & D. Cremers
  
• Square Root Bundle Adjustment for Large-Scale Reconstruction. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 11718-11727. IEEE.
  Demmel, Nikolaus; Sommer, Christiane; Cremers, Daniel & Usenko, Vladyslav
  
• Square Root Marginalization for Sliding-Window Bundle Adjustment. 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 13240-13248. IEEE.
  Demmel, Nikolaus; Schubert, David; Sommer, Christiane; Cremers, Daniel & Usenko, Vladyslav
  
• Towards Robust Monocular Visual Odometry for Flying Robots on Planetary Missions. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 8737-8744. IEEE.
  Wudenka, M.; Muller, M. G.; Demmel, N.; Wedler, A.; Triebel, R.; Cremers, D. & Sturzl, W.
  
• TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 8601-8608. IEEE.
  Klenk, Simon; Chui, Jason; Demmel, Nikolaus & Cremers, Daniel
  
• The Probabilistic Normal Epipolar Constraint for Frame- To-Frame Rotation Optimization under Uncertain Feature Positions. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 1809-1818. IEEE.
  Muhle, Dominik; Koestler, Lukas; Demmel, Nikolaus; Bernard, Florian & Cremers, Daniel
  
• Power Bundle Adjustment for Large-Scale 3D Reconstruction. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 281-289. IEEE.
  Weber, Simon; Demmel, Nikolaus; Chan, Tin Chon & Cremers, Daniel