Inductive transfer-learning for the classification of aerial and satellite images using Bayesian methods

• Applicant: Professor Dr.-Ing. Jörn Ostermann
• Subject Area: Geodesy, Photogrammetry, Remote Sensing, Geoinformatics, Cartography
• Term: from 2013 to 2016
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 246374192

• Final Report Year: 2018

Final Report Abstract

Wir betrachten die Aufgabe der semantischen Segmentierung von Landbedeckung in Luft- und Satellitenbildern durch überwachte Lernverfahren. Solche Verfahren benötigen große Mengen an Lernbeispielen, deren Beschaffung häufig sehr aufwendig ist. Das Prinzip des Transfer-Lernens soll dieses Problem mindern, indem Lernbeispiele aus anderen bereits segmentierten Szenen wiederverwendet werden. Die Domänenadaption setzt voraus, dass für das Eingangsbild (=Ziel) nur ungelabelte Daten vorhanden sind. Die anderen Bilder (=Quellen), hingegen, sind vollständig gelabelt. In diesem Projekt entwickelten wir ein einheitliches Bayessches Transfermodell, welches zuverlässig bestimmen kann, welche der Quellen für den Transfer geeignet sind (Quellenselektion, Instance Transfer) und welches außerdem die vorhandenen Unterschiede ausgleicht (Feature Representation Transfer). Die Anpassung der Planungen auf die bewilligte Laufzeit führte zu starken Verzögerungen, insbesondere weil der Umfang des Projekts und die Zeitplanung mit Rücksicht auf das Institut für Photogrammetrie und GeoInformation der Leibniz Universität Hannover als enger Kooperationspartner überarbeitet werden musste. Die wesentlichen Beiträge können wie folgt zusammengefasst werden: • Es wurde ein neues Bayessches Klassifikationsmodell unter einer 0−1 Kostenfunktion entwickelt, welches die Bayesian Point Machine von Herbrich u. a. (2001) verbessert. Es konnte eine sehr gute theoretische Laufzeitkomplexität nachgewiesen werden, allerdings mit einer langsamen Konvergenzrate auf realen Datensätzen. • Auf Basis dieses Klassifikationsmodells wurde das im Antrag vorgeschlagene Bayessche Transfermodell umgesetzt. • Aufgrund der genannten Konvergenzprobleme wurde zudem eine konvexe Approximation vorgeschlagen. Wir konnten ein schnelles Lösungsverfahren basiend auf der Boosting Methodik entwickeln, welches eine lineare Laufzeitkomplexität besitzt und gleichzeitig den Speicherverbrauch pro Quelle auf eine konstante Größe reduziert. Erst diese Eigenschaften erlauben eine Anwendung auf sehr große Datensätze. • Auf allen getesten Datensätzen konnten die Vergleichsverfahren konsistent verbessert werden. • Über den Antrag hinaus konnte das Transfermodell auf eine unüberwachte Nutzung adaptiert werden, bei der sowohl vom Ziel als auch von den Quellen nur ungelabelte Daten zur Verfügung stehen.

Publications

• Boosted Unsupervised Multi-Source Selection for Domain Adaptation. ISPRS Annals of Photogrammetry, Remote Sensing & Spatial Information Sciences 2017
  Karsten Vogt, Andreas Paul, Franz Rottensteiner, Jörn Ostermann und Christian Heipke
  
• Soft Margin Bayes-Point-Machine Classification via Adaptive Direction Sampling. Scandinavian Conference on Image Analysis (SCIA) 2017
  Karsten Vogt und Jörn Ostermann
  
• Unsupervised Source Selection for Domain Adaptation. Photogrammetric Engineering & Remote Sensing (PE&RS) 2018
  Karsten Vogt, Andreas Paul, Franz Rottensteiner, Jörn Ostermann und Christian Heipke