Transfer von tiefen neuronalen Netzen von der Simulation in die reale Welt

• Antragsteller: Professor Dr. Vasileios Belagiannis
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 458972748

Computer Vision stellt heute einen wichtigen Teil der visuellen Vorverarbeitung dar. Dabei kann Computer Vision entweder als eigenes Aufgabenfeld oder als Modul verstanden werden, welches seine Ergebnisse als Input an ein darauf aufbauendes System weitergibt. Im Kontext des automatisierten Fahrens kann dieses System ein mobiler Agent sein, der sich nicht nur auf Rohdaten stützt, sondern Computer Vision Algorithmen zur visuellen Vorverarbeitung nutzt, um seine Umgebung zu verstehen. Aktuelle Studien zu realen Implementierungen solcher Agenten zeigen, dass diese akkurater agieren, wenn sie visuelle Vorverarbeitung, wie z.B. semantische Segmentierung oder Tiefenschätzung als zusätzlichen Input zu den Rohdaten verwenden. Das akkuratere Verhalten der Agenten muss jedoch durch aufwändiges Sammeln und Annotieren der Daten erkauft werden. Aktuelle Ansätze basieren nämlich auf tiefen neuronalen Netzen, welche mit überwachtem Lernen trainiert werden. Zu diesem Zweck muss vor dem Trainieren der Netze ein großer, annotierter Datensatz erstellt werden. Um dieser Einschränkung zu umgehen, können annotierte Datensätze mit Hilfe von Simulation erzeugt werden. Diese umfangreichen, synthetisch generierten Datensätze können direkt auf die Aufgabe zugeschnitten und im Kontext neuronaler Netze als Alternative zu realen Datensätzen verwendet werden. Allerdings weisen solche synthetischen Datensätze auch klare Nachteile auf. Insbesondere schneiden auf synthetischen Daten trainierte neuronale Netze schlecht auf Realdaten ab.In diesem Projekt werden wir daher erforschen, wie sich dieser Leistungsabfall vermindern lässt, sodass auf synthetischen Daten trainierte tiefe neuronale Netze zukünftig besser auf Realdaten abschneiden. Als Testfelder zur Evaluation werden wir dabei die Anwendungen semantische Segmentierung und Tiefenschätzung auf Einzelbildern näher untersuchen. In unserer Forschung werden wir Algorithmen entwickeln, die tiefen neuronalen Netzen beibringen, sich schnell an neue Umgebungen anzupassen. Dieses Konzept ist weithin als Meta-Learning bekannt. Meta-Learning wurde jedoch bis heute noch nie als Methode verwendet, um den Transfer von synthetisch generierten Daten auf Realdaten zu schaffen, obwohl die Problemformulierung von Meta-Learning gut auf das Problem passt.

• DFG-Verfahren: Sachbeihilfen