Robuste Rekonstruktion der Wahrscheinlichkeitsverteilung von Beobachtungen: Ein Zugang mit Hilfe dynamischer Systeme

• Antragsteller: Privatdozent Pavel Gurevich, Ph.D.
• Fachliche Zuordnung: Mathematik ; Statistik und Ökonometrie ; Theoretische Informatik
• Förderung: Förderung von 2018 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 415860776

In unserem proof-of-concept-Projekt möchten wir das Lernen von Wahrscheinlichkeitsverteilungen beobachteter Daten in einem Paradigma dynamischer Systeme interpretieren und damit eine Brücke zwischen den Theorien des maschinellen Lernens und der dynamischen Systeme schlagen.Insbesondere künstliche neuronale Netze haben in den letzten Jahren aufgrund ihrer Fähigkeit, Wahrscheinlichkeitsverteilungen auf parametrische Weise darzustellen und diese Parameter aus beobachteten Daten effektiv zu lernen, eine breite Anwendungen gefunden. In unserem Projekt untersuchen wir, wie sich die Parameter der Wahrscheinlichkeitsverteilungen (in diesem Fall die Ausgaben von neuronalen Netzwerken) während des Lernens entwickeln. Wenn eine große Menge von Daten vorliegt (d.h., im Limes einer unendlichen Datenzahl), können wir den Prozess des Lernens dieser Parameter durch Differentialgleichungen beschreiben, welche wir im Detail analysieren wollen. Typischerweise besitzen diese Gleichungen Familien von Gleichgewichten, die suboptimalen Werten der Parameter entsprechen. Infolgedessen kann der Lernprozess zu falschen Verteilungen konvergieren. Diese suboptimalen Gleichgewichte stammen nicht von einer Über- oder Unterparametrisierung durch die Gewichte der neuronalen Netzwerke, sondern sind schon der ursprünglichen Parametrisierung der approximierenden Verteilungen inhärent. Darüber hinaus wird die Struktur und Stabilität dieser suboptimalen Gleichgewichte durch Ausreißer in den Trainingsdaten beeinflusst. Unser Ziel ist es, eine detaillierte Analyse dieser Gleichgewichte, ihrer Stabilität, ihrer Anziehungsbereiche und der Struktur ihrer stabilen Mannigfaltigkeiten durchzuführen. Wir erwarten, dass uns dieses Wissen dabei helfen wird zu verstehen, wie man den Lernprozess so verändern kann, dass die Parameter zum richtigen Gleichgewicht konvergieren und somit die korrekte Wahrscheinlichkeitsverteilung repräsentieren. Unser Forschungsprogramm beinhaltet insbesondere die Analyse der Dynamik von Einzel- und Mischkomponentenverteilungen bei Vorliegen von Ausreißern im Trainingsdatensatz. Weil das Vorliegen von Ausreißen zu einer Überschätzung der Varianz der Verteilung führt, muss die vorhergesagte Varianz mithilfe von Korrekturformeln vermindert werden. Diese Formeln wollen wir aus der Analyse der Attraktoren des dynamischen Systems ableiten.Obwohl unsere Methoden stark auf der Theorie der Differentialgleichungen und dynamischen Systeme beruhen, sind die erwarteten Ergebnisse für die Gebiete der Stochastik, des maschinellen Lernens und der künstlichen Intelligenz relevant. Wir glauben, dass sie nicht nur zeigen werden, was potentielle Fallstricke beim Lernen von Verteilungen durch neuronale Netze sind, sondern auch dazu beitragen, das Lernen effizienter zu gestalten.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: USA
• Kooperationspartner: Professor Dr. Dimitrii Rachinskii