Problemübergreifendes Hyperparameter-Lernen

• Antragsteller: Professor Dr. Lars Schmidt-Thieme
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2014 bis 2016
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 260199522

Eine der größten Herausforderungen im Maschinellen Lernen ist die geeignete Auswahl von Hyperparametern und Modellen, da State-of-the-Art Verfahren wie die Gitter-Suche oder zufällige Hyperparameter-Stichproben viele Durchläufe des Lernalgorithmus erfordern und aus diesem Grund üblicherweise in Rechenzentren statt in Robotern, Autos oder Smartphones durchgeführt werden. Folglich müssen autonome Hyperparameter-Lernverfahren entwickelt werden, die in der Lage sind, bisherige Hyperparameter-Performanz auf anderen Datensätzen und möglicherweise anderen Modellklassen einzubeziehen und somit lernenden Systemen zu ermöglichen, in einem Bruchteil der Zeit zu lernen, der gegenwärtig nötig ist.In diesem Projekt beabsichtigen wir, ein Hyperparameter-Empfehlungsmodell zu entwickeln, das auf Eigenschaften eines neuen Lernproblems und einigen wenigen Meta-Observationen basiert und in der Lage ist, geeignete Hyperparameter-Konfigurationen vorzuschlagen, dabei aber nur einen Bruchteil der Durchläufe des Lernalgorithmus benötigt und dennoch vergleichbare Leistungen erzielt. Um dies zu erreichen, werden wir mittels eines Faktorisierungsmodells latente Eigenschaften lernen, die Datensätze und Modelle charakterisieren, so dass die Hyperparameter-Performanz mit eben diesen Eigenschaften korreliert. Darüber hinaus werden wir Strategien des Aktiven Lernens anwenden, um Hyperparameter-Kombinationen so zu wählen, dass das Hyperparameter-Empfehlungsmodell noch weniger Durchläufe des Lernalgorithmus erfordert.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 1527: Autonomes Lernen