Detailseite
Projekt
Neue Verfahren zum Trainieren neuronaler Netze mittels Ansätzen aus der stochastischen Regelung und der Uncertainty Quantification
Antragsteller
Professor Dr.-Ing. Timm Faulwasser
Fachliche Zuordnung
Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
Förderung
Förderung seit 2025
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 535860958
Als Teil der Forschungsgruppe "Aktives Lernen für dynamische Systeme und Regelung (AleSCo) - Dateninformativität, Unsicherheiten und Garantien" werden in diesem Projekt neue Methoden für die Analyse und das Training neuronaler Netze mit Hilfe von Methoden zur Quantifizierung von stochastischen Unsicherheiten (Uncertainty Quantification) und mit Konzepten zur Analyse und Regelung stochastischer Systeme entwickelt. Das Projekt vollzieht damit einen Perspektivwechsel von der Anwendung maschineller Lernverfahren für regelungstechnische und systemtheoretische Fragestellungen hin zur Entwicklung und zum Einsatz systemtheoretischer und regelungstechnischer Konzepte für die Analyse und das Design maschineller Lernverfahren. Das Projekt stützt sich auf die strukturelle Verwandtschaft von neuronalen Differentialgleichungen (Neural ODEs - NODEs) und neuronalen Residual-Netzen (Residual Networks - ResNets). Wir nutzen polynomiale Reihenentwicklungen (Polynomial Chaos Expansion - PCE) von L2 Zufallsvariablen, ein Konzept, das auf Norbert Wiener zurückgeht, um neuartige Methoden zur Untersuchung der Generalisierungseigenschaften neuronaler Netze zu entwickeln. Spezifisch werden Teilmengen des Raumes der Eingangsdaten eines neuronalen Netzes durch PCEs beschrieben und durch das Netz propagiert, um so das statistische Generalisierungsverhalten der prädizierten Labels zu beschreiben. In einem zweiten Schritt nutzen wir die Methoden zur Unsicherheitspropagation direkt in der Formulierung von Trainingsproblemen. Dazu wird untersucht, wie sich Anforderungen an die Generalisierungseigenschaften direkt im Training in Form von Performanzkriterien oder Nebenbedingungen berücksichtigen lassen. Das Training von neuronalen Netzen (NODEs und ResNets) wird dazu systemtheoretisch als Problem der Optimalsteuerung formalisiert. Ein Ziel ist es das Stutzen (pruning) ohne Performanzverlust von trainierten tiefen Netzen mittels geeigneter systemtheoretischer Dissipativitätskonzepte zu untersuchen. Im dritten Schritt werden auf Basis der L2 und PCE erweiterten neuronalen Netzarchitekturen Methoden des aktiven Lernens entwickelt. Dazu wird untersucht, wie neue Datenpunkte durch Quantifizierung der Unsicherheiten der Labelprädiktionen zielgerichtet gewählt werden können. Weiterhin erweitern wir systemtheoretische Konzepte der Informativität von Daten für neuronale Netze. Wir untersuchen, inwieweit Konzepte aus der stochastischen Regelungstheorie den Entwurf möglichst flacher neuronaler Netze befördern. Die entwickelten Methoden werden anhand von etablierten Machine Learning Benchmarks und mittels neuer, im Kontext der Forschungsgruppe ALeSCo entwickelter, regelungstechnischer Testprobleme evaluiert.
DFG-Verfahren
Forschungsgruppen
