Verknüpfung von metrischen und symbolischen Ebenen in autonomen Reinforcement Lernen

• Antragsteller: Professor Dr. Klaus Obermayer
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2011 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 200282059

Mit "Reinforcement Learning" (RL) hat sich eine wohlfundierte theoretische Basis für autonomes Lernen entwickelt, welche aber in praktischen Anwendungen selten zum Einsatz kommt. Im Projekt "Value Repräsentation großen faktorisierten Zustandsräumen" haben wir eines der wesentlichen Defizite dieser Methode untersucht, den "Fluch der Hochdimensionalität". Trotz erheblicher Erfolge stand einer praktischen Anwendung bisher ein anderes Defizit von RL im Wege: RL Algorithmen sind unflexibel und können sich schlecht an veränderte Situationen anpassen. Um das metrische Transitionsmodell anpassungsfähiger zu gestalten besitzt die von uns entwickelte Methode eine symbolische Ebene, welche dem Gebiet des "Relationalen RL" entnommen ist. Wir untersuchen in dem vorgeschlagenen Projekt die Hypothese dass sich metische und symbolische RL-Verfahren ergänzen und zusammen sowohl erhöhte Genauigkeit als auch Flexibilität an den Tag legen. Dies untersuchen wir mittels der beiden folgenden konkreten Fragestellungen: (1) Wir werden eine Bayesianische Methode zum erlernen von metrischen Transitionsmodellen mit symbolischer Flexibilität enwickeln. (2) Wir werden Synergieeffekte von der metrischen und symbolischen Ebene untersuchen um die Planung zu verbessern und relationale Symbole und Aktionen besser einstellen und an die Sitation anpassen zu können. Die anvisierten Methoden werden die beiden Forschungsfelder der "Faktorisierten MDP" und des "Relationalen RL" in einem gemeinsammen mathematischen Modell vereinen und dabei sowohl "bottom-up" als auch "top-down" Effekte ausnutzen. Wir erwarten deutliche Verbesserungen bei der Lösung von von relationalen Problemen welche auf einem darunterliegenden metrischen Raum basieren. Dies tritt zum Beispiel in der Robotik häufig auf.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 1527: Autonomes Lernen