4D-YouTube: 4D-Rekonstruktion aus Gelegenheitsvideos mit tiefen raum-zeitlichen Repräsentationen

• Antragsteller: Professor Dr. Daniel Cremers
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 555335814

Während sich die kamerabasierte Rekonstruktion rasant entwickelt hat, bleibt die Rekonstruktion dynamischer Welten aus Gelegenheitsvideos, wie sie auf Plattformen wie YouTube zu finden sind, eine große Herausforderung. In diesem Projekt werden wir diese Herausforderung in drei Stufen angehen: Erstens werden wir einen Ansatz für das metrische Lernen von Multiview-Repräsentationen entwickeln. Zweitens werden wir unkalibrierte visuelle SLAM-Techniken für statische Welten entwickeln, die existierende SLAM-Methoden so verallgemeinern, dass sie für Kameras mit unbekannter Kalibrierung einsetzbar werden. Und drittens werden wir diese Methoden auf die Rekonstruktion dynamischer Welten verallgemeinern, in denen die 3D-Bewegung von Objekten in der Welt mit Hilfe gewöhnlicher Differentialgleichungen dargestellt wird.

• DFG-Verfahren: Sachbeihilfen