Reinforcement Learning with Qualitative Feedback

• Applicants: Professor Dr. Johannes Fürnkranz; Professor Dr. Eyke Hüllermeier
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2011 to 2016
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 200293680

Reinforcement Learning (RL) ist ein etabliertes Paradigma für autonomes Lernen durch Interaktion eines Agenten mit seiner Umgebung. Die Aufgabe eines RL-Agenten besteht, grob gesagt, darin, seinen über die Zeit akkumulierten Nutzen durch die geschickte Auswahl von Aktionen zu maximieren. Konventionelle RL-Methoden sind im Wesentlichen auf numerische Nutzenwerte beschränkt. In vielen Anwendungen sind jedoch zusätzlich oder gar ausschließlich qualitative Belohnungen vorhanden. Darüber hinaus behindert die Beschränkung auf numerische Belohnungen die Verarbeitung weiterer Arten von Feedback, wie beispielsweise externe Ratschläge. Ziel dieses Projektes ist es, das konventionelle RL-Modell derart zu verallgemeinern, dass es zusätzlich auch nicht-numerische Arten von Feedback verarbeiten kann. Basierend auf neuartigen Methoden des Präferenz-Lernens sollen dem RL-Agenten qualitative Entscheidungsmodelle, wie z.B. Ordnungsfunktionen zum Reihen der vorhandenen Aktionen, sowie Algorithmen zum Lernen derartiger Funktionen, zur Verfügung gestellt werden. Während der Schwerpunkt des Projekts auf der Entwicklung von theoretischen und methodischen Grundlagen eines “präferenzbasierten Reinforcement Learning” liegt, werden wir unsere Methoden auch anhand zweier praktischer Probleme aus den Bereichen Spiele und Medizin erproben.

• DFG Programme: Priority Programmes
• Subproject of: SPP 1527: Autonomous Learning