Mediated Reality mit Radience Fields (MURF)

• Antragsteller: Professor Dr. Wolfgang Broll
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 575281243

Augmented und Mixed Reality ermöglichen es, virtuelle Objekte mit der realen Welt zu kombinieren und bieten so neue Wege, digitale Inhalte zu erleben und mit ihnen zu interagieren. Eine erweiterte Form dieser Technologie ist Mediated Reality --- eine visuelle Manipulation der Realität, die nicht nur das Hinzufügen virtueller Objekte erlaubt, sondern auch das gezielte Entfernen von Objekten oder die Anpassung photometrischer und geometrischer Eigenschaften der realen Welt umfasst. Damit diese Technologien nahtlos und glaubwürdig wirken, müssen virtuelle Objekte nicht nur korrekt in die reale Szene eingefügt bzw. entfernt, sondern auch die resultierenden Änderungen bei Licht, Perspektive und Materialeigenschaften berücksichtigt werden. Das Projekt MURF adressiert diese Herausforderungen, indem es Verfahren zur geometrischen und photometrischen Rekonstruktion nutzt, um neuartige Visualisierungsmethoden zu ermöglichen. Ziel ist es, Objekte und Lichtquellen in Echtzeit realistisch in die Umgebung einzufügen, zu verändern oder zu entfernen. Hierzu werden innovative Ansätze für eine Kombination von Pathtracing mit 3D Gaussian Splatting erforscht, um eine qualitativ hochwertige und möglichst photorealistische Darstellung bei gleichzeitig effizienter Verarbeitung zu erreichen. Die im Projekt entwickelten Verfahren werden kontinuierlich technisch evaluiert und in Nutzertests auf mobiler Hardware validiert. Mit den zu erwartenden Ergebnissen sollen neue Algorithmen und Systeme entstehen, die zukunftsweisend für Visualisierung und Interaktion in Mediated-Reality-Anwendungen sind. Gleichzeitig eröffnen sind die Verfahren auch klassischen Grafikanwendungen oder Virtual Reality verwendbar.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Dr.-Ing. Tobias Schwandt