SAROPT: SAR-Optical Stereo for Urban Scenes
Final Report Abstract
Das wissenschaftliche Ziel des SAROPT-Projekts war die Entwicklung und Untersuchung von Methoden zur stereogrammetrischen Fusion von optischen und SAR-Fernerkundungsdaten zur Rekonstruktion von 3D-Informationen in urbanen Gebieten. Dabei wurde früh im Priojektverlauf erkannt, dass das Hauptaugenmerk auf Ansätze des Deep Learning zur automatischen Zuordnung korrespondierender Bildbereiche in SAR-optischen Bildpaaren gelegt werden muss. Die Hauptherausforderung in diesem Kontext war die geringe Verfügbarkeit hinreichend großer Mengen an Trainingsdaten. Aus diesem Grund wurden einerseits neue Datensätze produziert, andererseits moderne Ansätze des maschinellen Lernens unter reduzierter Datenverfügbarkeit entwickelt und untersucht. Im Endergebnis wurde eine komplett Deep Learning-basierte Prozesskette entwickelt, die unter Verwendung dreier verschiedener Teilnetzwerke alle notwendigen Arbeitsschritte modelliert: die Identifikation von für eine Bildzuordnung geeigneten Bildbereichen, die Bestimmung der Ähnlichkeit zwischen potenziell korrespondierenden Bildbereichen, und schließlich die Reduktion von Ausreißern. In umfangreichen Experimenten konnte gezeigt werden, dass das Verfahren eine bessere Performanz aufweist, als vergleichbare Verfahren, die bislang den Stand der Technik definiert hatten. Neben den Untersuchungen zu Deep Learning für die Zuordnung von SAR- und optischen Bildern wurden im Projekt Ansätze zur Stereorekonstruktion aus SAR-optischen Multisensor-Messungen mit Hilfe klassischer Triangulation entwickelt und untersucht. Es konnte gezeigt werden, dass eine solche Rekonstruktion grundsätzlich mit Pixel- oder sogar Subpixelgenauigkeit möglich ist, sofern die Daten in geeigneter Aufnahmegeometrie gewonnen wurden und das Problem der Bildzuordnung robust gelöst ist. Insgesamt hat das Vorhaben wichtige Beiträge zu einer Weiterentwicklung der SAR-optischen Datenfusion geleistet.
Publications
- (2018) The SEN1-2 dataset for deep learning in SAR-optical data fusion. In: ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences 4-1: 141-146
Schmitt M, Hughes LH, Zhu X
(See online at https://doi.org/10.5194/isprs-annals-IV-1-141-2018) - (2018) A framework for SAR-optical stereogrammetry over urban areas. ISPRS Journal of Photogrammetry and Remote Sensing 146: 389-408
Bagheri H, Schmitt M, d‘Angelo P, Zhu X
(See online at https://doi.org/10.1016/j.isprsjprs.2018.10.003) - (2018) Identifying corresponding patches in SAR and optical images with a pseudo-siamese CNN. IEEE Geoscience and Remote Sensing Letters 15 (5): 784-788
Hughes LH, Schmitt M, Mou L, Wang Y, Zhu X
(See online at https://doi.org/10.1109/LGRS.2018.2799232) - (2018) Mining hard negative samples for SAR-optical image matching using generative adversarial networks. Remote Sensing 10 (10): 1552
Hughes LH, Schmitt M, Zhu X
(See online at https://doi.org/10.3390/rs10101552) - (2018) Towards automatic SAR-optical stereogrammetry over urban areas using very high resolution images. ISPRS Journal of Photogrammetry and Remote Sensing 138: 218-231
Qiu C, Schmitt M, Zhu X
(See online at https://doi.org/10.1016/j.isprsjprs.2017.12.006) - (2019) Matching of TerraSAR-X derived ground control points to optical image elements using deep learning. ISPRS Journal of Photogrammetry and Remote Sensing 158: 241-248
Bürgmann T, Koppe W, Schmitt M
(See online at https://doi.org/10.1016/j.isprsjprs.2019.09.010) - (2020) A deep learning framework for sparse matching of SAR and optical imagery. ISPRS Journal of Photogrammetry and Remote Sensing 169: 166-179
Hughes LH, Marcos D, Lobry S, Tuia D
(See online at https://doi.org/10.1016/j.isprsjprs.2020.09.012)
