Validierte Berechnung von Mustern in Rekurrenten Neuronalen Netzen

• Antragstellerin: Elena Queirolo, Ph.D.
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung von 2022 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 493789610

Ziel dieses Projekts ist es, validierte computergestützte Techniken aus dynamischen Systemen einzusetzen, um das Verhalten rekurrenter neuronaler Netze (RNNs) zu verstehen. RNNs sind eine Schlüsselkomponente moderner maschineller Lernalgorithmen, insbesondere im Zusammenhang mit tiefen neuronalen Netzen. RNNs können als dynamische Systeme auf Graphen oder Netzwerken interpretiert werden. Knoten und Kanten sind Zustandswerten bzw. Gewichten zugeordnet. Erstens ist die Informationsverarbeitung durch die Knoten eines neuronalen Netzes mit festen Kantengewichten ein dynamischer Prozess, da Anfangsbedingungen aus der Eingabeschicht verarbeitet werden und über eine endliche Iteration von Abbildungen oder einen Fluss die Werte an der Ausgabeschicht errechnet werden. Zweitens kann auch die Lernphase eines neuronalen Netzes als ein durch Iteration erhaltenes dynamisches Minimierungsproblem interpretiert werden. Natürlich gibt es eine Rückkopplung zwischen der Dynamik auf und vom Netzwerk, d.h. auf den Knoten und den Kanten. Am Ende des dynamischen Prozesses, der durch die Verarbeitung einer ausreichenden Menge an Trainingsdaten erhalten wird, hofft man, dass das dynamische System ein ausreichend stabiles Muster der Kanten-Gewichte erzeugt hat, das eine ausreichende Ausdruckskraft enthält, z.B. für Aufgaben wie Mustervergleich oder sogar Extrapolation über die anfänglichen Trainingsdaten hinaus.Wir sind daran interessiert, die stabilen Netzwerkkonfigurationen zu untersuchen, d.h. Langzeit-Muster, welche die Kanten-Gewichtungen annehmen. Solche Muster sind von großem Interesse, da sie anzeigen, wann das RNN ausreichend trainiert wurde und ob das Trainingsziel erreicht wurde. Durch die Anwendung von Konzepten aus der validierten Numerik wird es möglich sein, Muster zu finden und deren Existenz und Stabilität nachzuweisen. Im Mittelpunkt dieses Projekts steht daher folgende Frage:Können wir das Muster eines gegebenen RNN mit validierten numerischen Dynamiktechniken rigoros beweisen?Diese Frage wird dann in zwei Teilfragen unterteilt: Welche Muster sind in einem gegebenen RNN möglich? Und welche davon sind stabil? Der Hauptbestandteil für dieses Ziel ist die Verwendung validierter Numerik außerhalb ihres traditionellen Einsatzgebietes. Das zentrale Thema der validierten Numerik ist es, numerische Berechnungen in Beweise zu verwandeln. Dies wird normalerweise erreicht, indem man eine numerische Näherung betrachtet und die a-posteriori-Schranken ihres Fehlers rigoros konstruiert, wodurch die Existenz einer Lösung automatisch nachgewiesen wird. Das Projekt erfordert einen Hintergrund in netzwerkbasiertem dynamischen Systemen und in validierter Numerik, die beide zu den technischen Kernkompetenzen der Projektleiterin gehören.

• DFG-Verfahren: WBP Stelle