Global optimales Training von Neuronalen Netzen

• Antragsteller: Professor Dr. Marc Emanuel Pfetsch; Professor Dr. Sebastian Pokutta
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 463910157

Das Trainieren von künstlichen neuronalen Netzen ist die zentrale Optimierungsaufgabe im Deep Learning und eines der wichtigsten Optimierungsprobleme des maschinellen Lernens. Aufgrund seiner inhärenten algorithmischen Komplexität, werden in der Regel lokale Methoden wie stochastische Subgradientenverfahren verwendet. Verschiedene Methoden und Initialisierungen weisen verschiedenes Verhalten in Bezug auf Generalisierbarkeit, Robustheit (in Bezug auf Rauschen oder feindliche Störungen) und Erklärbarkeit (Bedeutung) auf.Aufgrund der fundamentalen Bedeutung des Trainingsproblems für neuronale Netze ist daher wichtig und natürlich, Methoden zur Berechnung global optimaler Lösungen dieses Trainingsproblems und die Struktur seiner Lösungen zu untersuchen. Auf technischer Ebene erlaubt dies einen Vergleich mit den Ergebnissen der lokalen Verfahren auf kleinen Netzen.Kurz zusammengefasst sind unsere Ziele: Berechne und analysiere global optimale Lösungen des Trainingsproblems für neuronale Netze und untersuche seine Generalisierbarkeit, Erklärbarkeit und Robustheit.Um diese Ziele zu erreichen werden wir:1. Ganzzahlige Optimierungsmethoden einsetzen: Wir werden das Trainingsproblems mit Methoden der gemischt-ganzzahligen nichtlinearen Optimierung angehen. Wir haben insbesondere vor, existierende Lösungsmethoden, die auf räumlichen Branch-and-cut basieren, zu verbessern. Dies erfordert das Ausnutzen sowohl von Modell- als auch Netzstruktur.2. Symmetrie ausnutzen: Wir werden weiterhin mögliche Symmetrien der Daten und des Netzes ausnutzen, um den Lösungsprozess zu beschleunigen und den Rechenaufwand zu reduzieren, sowie eine symmetrische Lösung zu garantieren. Dies ist wichtig, wenn die zugrundeliegenden Probleme eine Symmetrie ausweisen die durch neuronale Netze ausgedrückt werden soll. Weiter muss Symmetriebehandlung in einen exakten Optimierungsansatz integriert werden, um die prinzipiellen Möglichkeiten und Beschränkungen beim Ausnutzen dieser Strukturen zu verstehen. Unser Ziel ist es Methoden zu entwickeln, die Symmetrien in einem allgmeinen Kontext automatisch behandelt, und die sich auf zukünftige bzw. andere Netzarchitekturen übertragen lassen.3. Dünnbesetztheit garantieren: Wir werden echte Dünnbesetztheit (in einem l0-Sinne) in neuronale Netze integrieren. Dünnbesetztheit wird oft heuristisch angegangen, z.B. durch iteratives Thresholding, was oft zu suboptimaler Dünnbesetztheit führt. Die Dünnbesetztheit zu optimieren bzw. zu beschränken kann jedoch direkt in das gemischt-ganzzahlige nichtlineare Framework integriert werden.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning