Meanfield Theorie zur Analysis von Deep Learning Methoden

• Antragsteller: Professor Dr. Michael Herty
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 462234017

Kinetische Theorie hat sich in den letzten Jahren als eine mögliche geeignete mathematische Methode zur hierarchischen Beschreibung einer Vielzahl physikalischer, technischer und soziologischer Prozesse bewährt. Zum Beispiel können strukturbildende Mechanism als Konsequenz interagierender Partikelsysteme mit Hilfe kinetischer Theorie sichtbar und einer mathematischen Analyse zugänglich gemacht werden. Ausgangspunkt dieses Antrags ist die Beobachtung, dass einige moderne Learning Methods, zum Beispiel Deep Residual Neuronal Networks, mathematisch ebenfalls als interagierende Partikelsysteme formuliert werden können. Hierbei bildet der Zustand des Partikels den Aktivierungszustand eines Neurons ab. In diesem Antrag planen wir die existierenden Methoden der kinetischen Gastheorie und insbesondere des sog. Meanfield Grenzwertes zu nutzen, auf die Speizifika der Learning Methods zu adaptieren und zu erweitern, um schließlich eine mathematische Analyse dieser Methoden zu ermöglichen. Der Schwerpunkt der Untersuchung liegt hierbei auf den für einen Meanfield Grenzwert zugänglichen Deep Residual Neuronal Networks und Filtermethoden zum Erlernen von Modellparametern aus (verrauschten) Daten. Die u.U. zu erweiternden Methoden der kinetischen Gastheorie sollen benutzt werden, um an den geeignet und äquivalent reformulierten Dynamiken strukturbildende Mechanism erkennen und analysieren zu können. Neben der Erkenntnis über zugrundeliegende Wirkungsweisen der Lernverfahren ist auch das Ziel damit neue, beweisbar konvergente und stabile Verfahren zu entwickeln. Die herzuleitenden partiellen Differentialgleichungen des Meanfield und/oder kinetischen Grenzwertes sollen hierbei erlauben, die dafür nötige Struktur und Formulierung zu liefern. Beispiele für geplante Beiträge durch diesen Antrag sind schnelle und stabile Verfahren zum Trainieren (und Adaptieren) neuronaler Netze, Studien zur Robustheit im Hinblick auf zum Beispiel unsichere Daten, Fragen der Darstellbarkeit Neuronaler Netze und neue Verfahren für daten-basierte Parameterschätzungen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning