Praktikables maschinelles Lernen auf statischen und dynamischen 3D Daten.

• Antragsteller: Professor Dr.-Ing. Matthias Nießner
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 405799936

• Erstellungsjahr: 2024

Zusammenfassung der Projektergebnisse

Dieses Projekt war eine Zusammenarbeit zwischen dem NiessnerLab an der Technischen Universität München und Forschern des Skolkovo Institute of Science and Technology. Ziel des Projekts war die Entwicklung fortschrittlicher Algorithmen für maschinelles Lernen, um die Erstellung und Beschriftung von 3D-Innenraumszenen zu automatisieren. Während der Projektlaufzeit wurden wichtige Meilensteine erreicht, die zu zahlreichen Forschungspublikationen und Beiträgen für die akademische und industrielle Gemeinschaft führten. Das Projekt erzielte in den folgenden Bereichen bedeutende Fortschritte: Entwicklung neuartiger maschineller Lernalgorithmen für die Erzeugung von 3D-Szenen. - Erstellung und Beschriftung großer Datensätze von 3D-Innenraumszenen. - Umfassende experimentelle Validierung und Verfeinerung der entwickelten Methoden. - Verbreitung der Ergebnisse durch hochwirksame Veröffentlichungen.

Projektbezogene Publikationen (Auswahl)

• "CAD-Deform: Deformable Fitting of CAD Models to 3D Scans". ECCV 2020
  Vladislav Ishimtsev et al.
  
• "Pri3D: Can 3D Priors Help 2D Representation Learning?” ICCV’21
  Ji Hou et al.
  
• DEF: Deep Estimation of Sharp Geometric Features in 3D Shapes. ACM ToG’22
  Albert Matveev et al.
  
• “4DContrast: Contrastive Learning with Dynamic Correspondences for 3D Scene Understanding” ECCV’22
  Chen et al.
  
• “D3Net: A Speaker-Listener Architecture for Semi-supervised Dense Captioning and Visual Grounding in RGB-D Scans” ECCV’22
  Chen et al.
  
• “Pose2Room: Understanding 3D Scenes from Human Activities” ECCV’22
  Nie et al.
  
• “RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering” ECCV’22
  Chang et al.
  
• “Texturify: Generating Textures on 3D Shape Surfaces” ECCV’22
  Siddiqui et al.
  
• "ObjectMatch: Robust Registration using Canonical Object Correspondences" CVPR’23
  Gümeli et al.
  
• "Synthetic Data for Improved 3D Scene Generation." CVPR’23
  Nie et al.
  
• “Deep vectorization of technical drawings" Springer’23
  Vage Egiazarian et al.
  
• “Learning Neural Parametric Head Models” CVPR’23
  Giebenhain et al.