Algorithmkontrolle: Effizientes Lernen, um Algorithmenparameter zu steuern

• Antragsteller: Professor Dr. Marius Lindauer
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 442750095

Im letzten Jahrzehnt hat die Forschung zu Algorithmenkonfiguration gezeigt, dass viele Algorithmen empfindlich auf ihre Parameterkonfigurationen reagieren. Um Spitzenleistungen zu erzielen, müssen Parameter dieser Algorithmen entsprechend den vorliegenden Probleminstanzen angepasst werden. Dies gilt insbesondere für Algorithmen in der KI. Anstelle von mühsamer und fehleranfälliger manueller Parameteroptimierung, können Konfigurationssysteme diesen Prozess automatisieren, indem sie nach einer leistungsfähigen Parameterkonfiguration suchen. Allerdings wird damit das Verhalten des Algorithmus nur einmalig am Anfang definiert, was in vielen Fällen suboptimal ist, da eine dynamische Anpassung der Parametereinstellung oft zur Laufzeit notwendig ist.Wir schlagen vor, automatische Algorithmenkontrolle aus Erfahrungsdaten zu lernen: wie müssen Parameterkonfigurationen während der Laufzeit automatisch angepasst werden, um bessere Leistungen zu erreichen. Wissenschaftler für evolutionäre Algorithmen und für maschinelles Lernen zeigten bereits, dass Algorithmenkontrolle im Allgemeinen erfolgsversprechend ist. Bestehende vorgeschlagene Ansätze dafür haben allerdings im Vergleich zu Algorithmenkonfiguration bisher große Einschränkungen: (i) die Anzahl der kontrollierten Parameter ist klein (oft nur einer); (ii) nur diskretisierte Parameterwerte werden berücksichtigt; und (iii) die erlernten Kontrollrichtlinien werden auf einigen wenigen Instanzen (oft auch nur einer) trainiert, so dass sie nicht gut über verschiedene Instanzmengen hinweg verallgemeinern.In dem beantragten Projekt werden wir Algorithmenkontrolle als Reinforcement Learning (RL) Problem modellieren; d.h. die Aktionen ändern die Parameterkonfigurationen, und die Zustände entsprechen den Zuständen eines Algorithmus. RL hat kürzlich gezeigt, dass herausfordernde Probleme mit übermenschlicher Leistung gelöst werden können, z.B. das Go-Spiel, Atari-Spiele oder Poker. Diese Erfolge wurden durch die Verwendung von Deep Learning als Funktionsapproximation ermöglicht, z.B. für die Policy- oder Value-Funktion. Wir glauben, dass die jüngsten Fortschritte in RL es uns ermöglichen werden, effektiv Algorithmkontrolle zu lernen, da das Problem diesen Spielanwendungen ähnlich ist: (i) wir können große Mengen an Trainingsdaten in einer Offline-Phase sammeln, indem wir verschiedene Kontrollstrategien für bestimmte Instanzen bewerten, (ii) der Zustand und der Aktionsraum ist in beiden Anwendungen riesig, und (iii) Deep Learning-Modelle können die Leistung von KI-Algorithmen vorhersagen.Durch das erfolgreiche Lernen von effektiven Kontrollstrategien, wird dieser Ansatz eine mächtigere Verallgemeinerung anderer meta-algorithmischer Ansätze sein, wie z.B. Algorithmenkonfiguration. Daher glauben wir, dass Algorithmenkontrolle eine vielversprechende Forschungsrichtung ist, die einen großen Einfluss auf die Entwicklung von neuen KI-Algorithmen haben wird.

• DFG-Verfahren: Sachbeihilfen