Rekursive und sparse Approximationen für Reinforcement Learning mit Anwendungen

• Antragsteller: Privatdozent Dr. Christian Bayer; Professor Dr. Denis Belomestny; Professor Dr. Vladimir Spokoiny
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 497300407

Reinforcement Learning (RL) ist ein Teilgebiet des maschinellen Lernens, das sich mit der Steuerung eines Systems zum Maximieren eines langfristigen Zielfunktionales befasst. Durch das weite Feld von Anwendungen (von künstlicher Intelligenz über Operations Research bis hin zur Finanzindustrie) genießt RL seit längerem große Aufmerksamkeit sowohl in der Wissenschaft als auch in der Wirtschaft.Wie viele andere Bereiche profitiert auch RL von den großen Fortschritten des tiefen Lernens, und die entsprechenden Verfahren des Deep Reinforcement Learnings (DRL) führten zu großen Fortschritten bei der Umsetzung herausfordernder Kontrollprobleme. Ein offenes Problem besteht jedoch darin, die Netzwerkarchitektur eines DRL-Verfahrens mit der Struktur des zugrundeliegenden dynamischen Programmierungsalgorithmus in Verbindung zu setzen. Dies ist nicht bloß von theoretischem Interesse, sondern könnte auch zu großen algorithmischen Vorteilen führen, wenn es gelingt, die hoch-dimensionalen, hochgradig nicht-konvexen statistischen Optimierungsproblemen des DRL-Verfahrens durch problemoritnierte, iterative konstruierte nichtlineare Approximationen zu ersetzen, welche die zielgerichtet die Informationen des letzten Optimierungsschrittes einsetzen können.Das Ziel dieses Projektes besteht in der Entwicklung neuartiger Approximationsmethoden für RL mit beweisbaren theoretischen Fehlergarantien, die rekursiv konstruiert sind, sparsam im Sinne der Anzahl der Parameter und gleichzeitig erklär- und interpretierbar. Im Vordergrund steht dabei die Entwicklung eines neuen Q-Iterationsverfahrens mit adaptiv konstruierten Approximationsklassen, die abhängen von den tatsächlich in den vorherigen Schritten des RL-Algorithmus gewählten Approximationen. Dieses neue Verfahren werden wir dann mit traditionellen Algorithmen aus dem DRL-Bereich vergleichen, sowohl bezüglich theoretisch beweisbaren Fehlerschranken als auch bezüglich der Erklärbarkeit der erhaltenen Kontrollen.Ein weiteres Ziel dieses Projektes besteht in der Erweiterung unserer Methode für Mean-Field-Systeme, wobei uns hierfür unsere Erfahrungen sowohl auf dem Gebiet des RL als auch bei der Analyse von McKean-Vlasov-Systeme zu Gute kommen wird. Als konkrete Anwendung werden wir eine Interpretation des finanzmathematischen Problems konsistenten (Re-)Kalibrierungen von Aktienpreismodellen als ein RL-Problem vorschlagen, und numerisch unter Benutzung der in diesem Projekt entwickelten Methoden untersuchen.

• DFG-Verfahren: Sachbeihilfen