Constrained Neural Networks

• Antragsteller: Professor Dr. Michael Möller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 448537382

Das Training von tiefen neuronalen Netzwerken hat die automatische Verarbeitung und Analyse digitaler Bilder in den letzten zehn Jahren revolutioniert. Der Preis für die hohe Expressivität solcher neuronaler Netzwerke ist jedoch oft ein gewisser Verlust über die Kontrolle der Ergebnisvorhersage: Selbst wenn ein neuronales Netzwerk für eine einzige Aufgabe auf Millionen von Trainingsbeispielen angelernt wurde, gibt es zur Zeit nahezu keine Mechanismen die garantieren können, dass die Ausgabe des Netzwerkes einem gegebenen Datenformationsprozess folgt, selbst wenn dieser explizit als Nebenbedingung (in Form einer parametrisierten mathematischen Menge) beschrieben werden kann. Diese fehlende Kontrolle ist aus zwei Gründen ein schwerwiegendes Problem:1. Es beschränkt die Anwendbarkeit von lernbasierten Ansätzen auf solche Problemklassen, in denen das beweisbare Erfüllen von Nebenbedingungen nicht sicherheitsrelevant ist, und 2. es verhindert den effektiven Einsatz von Vorwissen (in Form von Nebenbedingungen) um lernbasierte Methoden auch mit wenig Trainingsdaten zu leistungsstarken Ansätzen zu machen. Aus diesen Gründen ist das Ziel dieses Antrags fundamentale Methoden zu entwickeln wie Nebenbedingungen von neuronalen Netzwerken beweisbar respektiert werden können. Die zu erforschenden Techniken basieren auf den vom Antragsteller entwickelten "energy dissipating networks", welche es erlauben beliebige glatte Kostenfunktionen mit neuronalen Netzwerken iterativ zu minimieren, indem die letzte Schicht eine geeignete Projektion auf Abstiegsrichtungen der Kostenfunktion durchführt. Das technische Ziel des Antrages ist es, dieses Verfahren für die beweisbare Umsetzung von Nebenbedingungen zu verwenden, z.B. indem als Energie der quadratische Abstand zum constraint set gewählt wird. Ein spezieller Fokus liegt hierbei auf strukturierten sowie nicht-konvex constraint sets. Die Effektivität von Netzwerken, die beweisbar Nebenbedingungen erfüllen, wird in den Anwendungen von semantischer Bildsegmentierung mit shape prior sowie in graph matching Problemen getestet und verifiziert werden.

• DFG-Verfahren: Sachbeihilfen