Bathymetrische 3D-Rekonstruktion mit Neural Radiance Fields

• Antragsteller: Professor Dr.-Ing. Boris Jutzi
• Fachliche Zuordnung: Geodäsie, Photogrammetrie, Fernerkundung, Geoinformatik, Kartographie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 538522540

1) Motivation und Forschungskontext. Unterwasservegetation ist ein wichtiger Indikator für den Klimawandel. Bislang gibt es jedoch keine kostengünstigen Methoden zur Überwachung der Vegetation im Flachwasserbereich. Bathymetrische Laserscanner, die auf unbemannten Luftfahrzeugen (UAV) montiert sind, liefern dichte und genaue 3D-Punktwolken sowohl von der Wasseroberfläche als auch von der Unterwasservegetation, jedoch ist die Datenerfassung kostspielig. Im Gegensatz dazu sind zunehmend hochwertige UAV-Kameraaufnahmen verfügbar, aber die Rekonstruktion von komplexen Unterwasserszenen mittels Mehrmedienphotogrammetrie scheitert oftmals mit den etablierten Verfahren Structure-from-Motion und Multi-View-Stereo (MVS). 2) Forschungsfragen und -ziele. Jüngste Entwicklungen auf dem Gebiet der Neural Radiance Fields (NeRFs) zeigen, dass eine rein bildbasierte 3D-Rekonstruktion komplexer Objekte mittels Neuronaler Netze möglich ist. Vielversprechende Ergebnisse wurden bereits für die Überwasservegetation erzielt, aber es ist noch unklar, ob NeRFs eine gute Repräsentation durch Punktwolken bei komplexen Unterwasserszenen liefern können. Unsere Forschungsziele sind daher (i) die Verbesserung der 3D-Rekonstruktion durch die Erweiterung von NeRF-basierten Deep-Learning-Techniken bei Unterwasserobjekten (Boden und Wasserpflanzen) aus Bildern, die aus der Luft aufgenommen wurden und (ii) die quantitative Bewertung der erzielten Ergebnisse. 3) Methoden. Wir schlagen drei NeRF-Varianten vor: Im ersten Ansatz teilen wir den Objektraum in zwei Teile – über und unter einer ebenen Wasseroberfläche – auf, und verwenden für jeden Teil ein eigenes NeRF. Das konventionelle Überwasser-NeRF wird mit einem Unterwasser-NeRF kombiniert, bei welchem der Schnittpunkt mit der Wasseroberfläche als Ausgangspunkt dient und die gebrochene Unterwasser-Strahlrichtung anstelle der ursprünglichen Strahlrichtung berücksichtigt wird. Bei den Unterwasser-NeRFs werden die Bildstrahlen separat modelliert, wobei jeder Strahl als Trainingssample dient. Im zweiten Ansatz, der etwa auf fließendes Wasser mit stehenden Wellen anwendbar ist, betrachten wir ebenfalls eine ebene Wasseroberfläche, verwenden aber lokal bestimmte Oberflächennormalenvektoren für die Brechungskorrektur. Die lokalen Oberflächennormalvektoren werden im Optimierungsprozess mitgeschätzt. Der dritte Ansatz basiert auf einer indirekten Schätzung der Refraktion, indem die NeRFs um einen optischen Dichteparameter erweitert werden. Das Ray-Tracing wird dabei so modifiziert, dass die Refraktion in differenziellen Schritten kontinuierlich entlang des Strahls erfolgt. Die aus den Ansätzen resultierenden Punktwolken werden mit (i) konventionellem MVS und (ii) bathymetrischem LiDAR als unabhängige Referenz verglichen und evaluiert. Darüber hinaus versuchen wir auch, Unterwasser-Vegetationsmetriken direkt aus den NeRFs oder 3D-Punktwolken abzuleiten.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Österreich
• Partnerorganisation: Fonds zur Förderung der wissenschaftlichen Forschung (FWF)
• Kooperationspartner: Professor Dr.-Ing. Gottfried Mandlburger