Kombinatorische und implizite Methoden für Deep Learning - Phase II

• Antragsteller: Professor Dr. Guido Montúfar
• Fachliche Zuordnung: Mathematik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464109215

Dieses Projekt entwickelt theoretische Grundlagen des Deep Learning mit Schwerpunkt auf kombinatorischen und algebraischen Strukturen im Lernen mit neuronalen Netzen. Wir schlagen Brücken zur algebraischen Statistik und zur tropischen Geometrie, um die Theorie auf drei verschiedenen Ebenen voranzutreiben: einzelne Funktionen, Funktionsklassen und Funktionsklassen zusammen mit einem Trainingsziel. Wir nutzen Techniken zur Kombinatorik von Anordnungen, algebraischen Implizitisierung und zur eingeschränkten Optimierung, um eine genaue Beschreibung endlicher Netzwerke mit expliziter Kontrolle über die Rolle der Daten zu ermöglichen. Eine wichtige Innovation, die wir fortsetzen, sind implizite Beschreibungen der Funktionsklassen, die durch neuronale Netze repräsentiert werden. Wir richten unsere Aufmerksamkeit auf neue Herausforderungen bei der Optimierung von leicht überparametrisierten Netzwerken, der Erforschung von Aktivierungsfunktionen, Netzwerken mit eingeschränkten Parametern, und der Entwicklung systematischer Ansätze zur Charakterisierung von Trainingsinvarianten.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning