SPP 2298:  Theoretische Grundlagen von Deep Learning

• Fachliche Zuordnung: Mathematik ; Informatik, System- und Elektrotechnik ; Materialwissenschaft und Werkstofftechnik ; Medizin ; Physik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 441826958

Gleichzeitig zu dem beeindruckenden Erfolg von Deep Learning in realen Anwendungen, die vom autonomen Fahren über Spieleintelligenz bis hin zum Gesundheitssektor reichen, nehmen Deep-Learning-basierte Methoden mittlerweile auch starken Einfluss auf die Wissenschaft und ersetzen oder ergänzen darin hochmoderne klassisch-modellbasierte Methoden, um mathematische Probleme wie inverse Probleme oder partielle Differentialgleichungen zu lösen. Trotz der herausragenden Erfolge ist der Großteil der Forschung zu tiefen neuronalen Netzen jedoch empirisch getrieben und es fehlen weitgehend deren theoretisch-mathematische Grundlagen. Das Hauptziel dieses Schwerpunktprogramms ist die Entwicklung einer umfassenden theoretischen Grundlage des Deep Learning. Die Forschung innerhalb des Programms wird entlang dreier sich ergänzender Gesichtspunkte strukturiert sein, nämlich (1) die statistische Sichtweise, die das Training neuronaler Netze als statistisches Lernproblem betrachtet und die Expressivität, das Lernen, die Optimierung und die Generalisierung untersucht, (2) die Anwendungsperspektive, die sich auf Sicherheit, Robustheit, Interpretierbarkeit und Fairness konzentriert, und (3) der mathematisch-methodische Blickwinkel, der neuartige Deep-Learning-basierte Ansätze zur Lösung inverser Probleme und partieller Differentialgleichungen entwickelt und theoretisch analysiert. Die im Rahmen dieses Schwerpunktprogramms zu bearbeitenden Forschungsfragen sind zu einem großen Teil interdisziplinärer Natur und können nur durch eine gemeinsame Anstrengung von Mathematik und Informatik gelöst werden. Es werden mathematische Methoden und Konzepte aus der gesamten Mathematik benötigt, darunter etwa algebraische Geometrie, Analysis, Stochastik, Approximationstheorie, Differentialgeometrie, diskrete Mathematik, Funktionalanalysis, optimale Steuerung, Optimierung oder Topologie. Eine grundlegende Rolle spielt ebenfalls die Statistik sowie die theoretische Informatik. In diesem Sinne bilden Methoden aus Mathematik, Statistik und Informatik den Kern dieses Schwerpunktprogramms.

• DFG-Verfahren: Schwerpunktprogramme
• Internationaler Bezug: Frankreich, Großbritannien, Kanada

Projekte

• Adaptive Neuronale Tensor Netzwerke für parametrische Partielle Differentialgleichungen (Antragsteller Eigel, Martin ;  Grasedyck, Lars )
• Aspekte der Statistischen Analyse von Trainingstrajektorien von tiefen neuronalen Netzen (Antragsteller Steinwart, Ingo )
• Auf dem Weg zu einer überall verlässlichen Klassifizierung - Ein gemeinsamer Rahmen für Robustheit gegen böswillige Attacken und die Erkennung von Out-of-Distribution Eingaben (Antragsteller Hein, Matthias )
• Beweisbare Robustheitszertifizierung von Neuronalen Netzen für Graphen (Antragsteller Günnemann, Stephan )
• Data-dependency Gap: Ein neues Problem in der Lerntheorie von CNNs (Antragsteller Kloft, Marius )
• Deep-Learning basierte Regularisierung inverser Probleme (Antragstellerinnen / Antragsteller Burger, Martin ;  Kutyniok, Gitta )
• Deep Learning für nicht-lokale partielle Differentialgleichungen (Antragstellerinnen / Antragsteller Jentzen, Arnulf ;  Kutyniok, Gitta )
• Global optimales Training von Neuronalen Netzen (Antragsteller Pfetsch, Marc Emanuel ;  Pokutta, Sebastian )
• Grundlagen vollüberwachter Deep Learning Verfahren für Inverse Probleme (Antragsteller Burger, Martin ;  Möller, Michael )
• Impliziter Bias und Netzwerke niedriger Komplexität (Antragsteller Fornasier, Massimo ;  Rauhut, Holger )
• Invertierbarer neuronaler Netze zur Lösung inverser Probleme
• Kombinatorische und implizite Methoden für Deep Learning (Antragsteller Montúfar, Guido )
• Koordinationsfonds (Antragstellerin Kutyniok, Gitta )
• Lösungsverfahren für inverse Probleme basierend auf neuronalen Netzen: Expressivität, Generalisierung und Robustheit (Antragsteller Heckel, Reinhard ;  Krahmer, Ph.D., Felix )
• Meanfield Theorie zur Analysis von Deep Learning Methoden (Antragsteller Herty, Michael )
• Mehrphasige probabilistische Optimierer für tiefe Lernprobleme (Antragsteller Hennig, Philipp )
• Multilevel-Architekturen und -Algorithmen im Deep Learning (Antragsteller Herzog, Roland ;  Schiela, Anton )
• Multiskalendynamik neuronaler Netze über stochastische Graphoperatoren (Antragsteller Engel, Maximilian ;  Kühn, Ph.D., Christian )
• Nichtlineare optimale Feedback-Regelung mit tiefen neuronalen Netzen ohne den Fluch der Dimension. Ein Zugang über kompositionelle Funktionen und Hamilton-Jacobi-Bellman Gleichungen. (Antragsteller Grüne, Lars )
• Statistische Grundlagen des unüberwachten und halb-überwachten Tiefenlernens (Antragsteller Ghoshdastidar, Ph.D., Debarghya )
• Strukturerhaltende tiefe neuronale Netze zur Beschleunigung der Lösung der Boltzmanngleichung (Antragsteller Frank, Martin )
• Tiefe neuronale Netzwerke überwinden den Fluch der Dimensionalität in der numerischen Approximation von stochastischen Kontrollproblemen und von semilinearen Poisson Gleichungen (Antragsteller Hutzenthaler, Martin ;  Kruse, Thomas )
• Tiefe Zuweisungsflüsse für die strukturierte Klassifikation von Daten: Entwurf, Lernenverfahren und prädiktive Genauigkeit (Antragsteller Schnörr, Christoph )
• Über die Konvergenz von Variational Deep Learning zu Entropie-Summen (Antragstellerinnen / Antragsteller Fischer, Asja ;  Lücke, Jörg )

• Sprecherin: Professorin Dr. Gitta Kutyniok