Reinforcement Learning mit qualitativem Feedback

• Antragsteller: Professor Dr. Johannes Fürnkranz; Professor Dr. Eyke Hüllermeier
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2011 bis 2016
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 200293680

Reinforcement Learning (RL) ist ein etabliertes Paradigma für autonomes Lernen durch Interaktion eines Agenten mit seiner Umgebung. Die Aufgabe eines RL-Agenten besteht, grob gesagt, darin, seinen über die Zeit akkumulierten Nutzen durch die geschickte Auswahl von Aktionen zu maximieren. Konventionelle RL-Methoden sind im Wesentlichen auf numerische Nutzenwerte beschränkt. In vielen Anwendungen sind jedoch zusätzlich oder gar ausschließlich qualitative Belohnungen vorhanden. Darüber hinaus behindert die Beschränkung auf numerische Belohnungen die Verarbeitung weiterer Arten von Feedback, wie beispielsweise externe Ratschläge. Ziel dieses Projektes ist es, das konventionelle RL-Modell derart zu verallgemeinern, dass es zusätzlich auch nicht-numerische Arten von Feedback verarbeiten kann. Basierend auf neuartigen Methoden des Präferenz-Lernens sollen dem RL-Agenten qualitative Entscheidungsmodelle, wie z.B. Ordnungsfunktionen zum Reihen der vorhandenen Aktionen, sowie Algorithmen zum Lernen derartiger Funktionen, zur Verfügung gestellt werden. Während der Schwerpunkt des Projekts auf der Entwicklung von theoretischen und methodischen Grundlagen eines “präferenzbasierten Reinforcement Learning” liegt, werden wir unsere Methoden auch anhand zweier praktischer Probleme aus den Bereichen Spiele und Medizin erproben.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 1527: Autonomes Lernen