Nicht-glatte Bi-level Optimierung in Computer Vision und Machine Learning

• Antragsteller: Professor Dr. Peter Ochs
• Fachliche Zuordnung: Mathematik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 442790210

Die meisten Modelle zur Lösung praktischer Probleme in den Bereichen Computer Vision, Machine Learning und anderen Naturwissenschaften hängen entscheidend von der Wahl von Parametern ab. Die automatische datenbasierte Berechnung der Parameter ist meist eine enorme Herausforderung. Dies gilt insbesondere für die ersten beiden Anwendungsfelder, die durch hoch-dimensionale Probleme und hoch-dimensionale Parameterräume gekennzeichnet sind und meist mit nicht-glatten Optimierungsproblemen modelliert werden. Formal fällt diese Problemstellung in den Bereich der Bileveloptimierung, welche eine Klasse von Optimierungsproblemen darstellt, die sogar für glatte niedrigdimensionale Probleme schwierig und fast ausschließlich numerisch zu lösen ist. Ziel dieses Projektes ist die Entwicklung eines theoretischen und praktischen Rahmens zur effizienten Lösung von solchen Bileveloptimierungsproblemen mit obigen Eigenschaften. Dadurch erreichen wir bessere Lösungen in praktischen Problemen, die Lösung neuer Probleme und stellen Konvergenzgarantien zur Verfügung. Darüber hinaus erwarten wir theoretische Einsichten in die oftmals heuristische Verwendung von Lösungsstrategien in verwandten Gebieten, wie z.B. die "Backpropagationstrategie" (Kettenregel) mit nicht-differenzierbaren ReLU-Aktivierungsfunktionen beim Trainieren von Neuronalen Netzwerken.

• DFG-Verfahren: Sachbeihilfen