Training neuronaler Netze mittels persistenter Anregung

• Antragsteller: Professor Dr.-Ing. Matthias Müller
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 535860958

Als Teil der Forschungsgruppe "Aktives Lernen für dynamische Systeme und Regelung (ALeSCo) - Dateninformativität, Unsicherheiten und Garantien“ werden in diesem Projekt neue Methoden für das Training neuronaler Netze (NN) unter Verwendung system- und regelungstheoretischer Konzepte entwickelt und analysiert. Primäres Ziel ist dabei, regelungstheoretische Methoden zu nutzen, um Generalisierungseigenschaften eines trainierten NN zu garantieren, insbesondere Fehlerschranken für die Abweichung zwischen dem Ausgang des trainierten NN und einem NN mit idealen Gewichten. Dafür werden jüngste Fortschritte bei der Stabilitätsanalyse von optimierungsbasierten Schätzverfahren (Moving Horizon Estimation, MHE) und datenbasierten Systemdarstellungen, die auf nichtlinearen Versionen von Willems’ Fundametal Lemma (FL) beruhen, genutzt. In beiden Fällen müssen die Trainingsdaten informativ genug sein, weshalb aktive Lernstrategien erarbeitet werden, um geeignete Datenpunkte zu ermitteln. Die Nutzung von MHE, einer Methode zur Zustandsschätzung nichtlinearer Systeme, stellt den ersten Ansatz dieses Projekts dar. Hierfür wird das Update der Gewichte zusammen mit der Ausgangsgleichung des NN als dynamisches System interpretiert. Die Zustandsschätzung liefert dann Gewichte für das NN, die näherungsweise zu den gemessenen Ausgängen führen. Dazu sind geeignete Modifikationen und Erweiterungen von bestehenden MHE-Verfahren sowie von kürzlich entwickelten Techniken für eine robuste Stabilitätsanalyse erforderlich, um diese auf das Training von NN anwenden und die gewünschten Generalisierungseigenschaften garantieren zu können. Das FL wiederum liefert eine Systemdarstellung, mit der sich jede Ein-/Ausgangstrajektorie eines dynamischen Systems nur aus Messdaten und ohne Identifikation eines parametrischen Modells ergibt. Da auch die Ein-/Ausgangs-Abbildung eines NN als dynamisches System interpretierbar ist, können ähnliche Ideen verwendet werden, um das NN nur durch Trainingsdaten zu beschreiben, ohne explizit geeignete Gewichte zu identifizieren. Als zweiter Ansatz in diesem Projekt werden für eine derartige daten-basierte Darstellung neue nichtlineare Erweiterungen zum FL, die die bekannte Struktur des NN nutzen, erarbeitet. Für die entwickelten Trainingsmethoden werden Generalisierungseigenschaften gezeigt, falls die Trainingsdaten gewisse Informativitätsbedingungen erfüllen. In diesem Projekt untersuchen wir daher geeignete Konzepte wie die persistente Anregung (persistence of excitation) und andere Informativitätsbedingungen für die beiden o.g. Trainingsansätze und verschiedene Netzarchitekturen. Zudem werden aktive Lernstrategien entwickelt, die derartige Informativitätsbedingungen auf effektive Weise erfüllen. Zur Verbesserung der praktischen Anwendbarkeit obiger Trainingsmethoden werden Strategien zur Reduktion des Rechenaufwands untersucht. Schließlich erfolgt eine Evaluation der entwickelten Methoden an verschiedenen Benchmark-Systemen.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5785: Aktives Lernen für dynamische Systeme und Regelung - Dateninformativität, Unsicherheiten und Garantien
• Mitverantwortlich: Dr. Victor Gabriel Lopez Mejia