Statistische Grundlagen der Entscheidungsfindung und des Lernens in dynamischen Umgebungen

• Antragsteller: Professor Tobias Sutter, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Theoretische Informatik
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 521183802

Optimale sequentielle Entscheidungen in einer unbekannten dynamischen Umgebung zu treffen, erfordert einen ausgewogenen Kompromiss zwischen dem Erlernen des zugrundeliegenden Systems durch Interaktion mit ihm (Exploration) und der Nutzung dieses erworbenen Wissens, um optimale Entscheidungen zu treffen (Exploitation). In der Informatik, im Operations Research und in der Statistik werden solche sequentiellen Entscheidungsprobleme durch den Rahmen des Reinforcement Learning (RL) und das zugrunde liegende Prinzip der dynamischen Programmierung behandelt. Dieser Modellierungsrahmen führte 2017 zu einem technologischen "Wunder", als es einem RL-basierten Algorithmus gelang, ohne menschliches Wissen erfolgreich Go zu spielen. Die Schlüsselfaktoren, die diesen Erfolg ermöglichten, waren eine "geschickte Umsetzung bekannter Ideen und eine enorme Rechenleistung". Die mathematische Erklärung, warum diese Menge an Rechenleistung benötigt wird und unter welchen Bedingungen eine derart überlegene Leistung beobachtet werden kann, bleibt weitgehend offen. Darüber hinaus hat die Kombination von RL mit dem Rahmen der kausalen Inferenz (bekannt als kausales RL) erst in jüngster Zeit mit dem Aufkommen mehrerer Arbeiten an Schubkraft gewonnen, eine vereinheitlichende Theorie ist jedoch noch weit davon entfernt, entwickelt zu werden. Dieses Projekt untersucht und entwickelt datengetriebene Methoden für kausale Entscheidungsprobleme in unbekannten dynamischen Umgebungen, wobei der Schwerpunkt auf den zugrundeliegenden statistischen Garantien sowie der effizienten Berechnung dieser sequentiellen Entscheidungsprobleme liegt. Insbesondere zielt das Projekt darauf ab, die jüngsten Entwicklungen aus der datengetriebenen verteilungsrobusten Optimierung zu nutzen und diese auf dynamische (oder kausale) Bedingungen zu erweitern. Unser Schwerpunkt liegt auf der Ableitung statistischer Grenzen für die Qualität von Lösungen/Entscheidungen sowie auf der Entwicklung rechnerisch effizienter Algorithmen zur Lösung der zugrunde liegenden Optimierungsprobleme.Die Untersuchung eines statistisch fundierten Rahmens für (kausale) RL wird darüber hinaus wichtige Einblicke in die Frage liefern, wie die Handlungsfähigkeit eines Systems modelliert und zertifiziert werden kann, und somit auch zur Erklärbarkeit von KI-Systemen beitragen, die sich mit diesen sequentiellen Entscheidungsproblemen befassen.

• DFG-Verfahren: Sachbeihilfen