Parameterisierte Geometrische Optimierung: Kombinatorik, Algorithmen und Anwendungen im Maschinellen Lernen

• Applicant: Professor Dr. Joachim Giesen
• Subject Area: Security and Dependability, Operating-, Communication- and Distributed Systems
• Term: from 2008 to 2018
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 86443165

Ziel dieses Projektes ist es ein besseres algorithmisches und kombinatorisches Verständnis von parametrisierten geometrischen Optimierungsproblemen, die im maschinellen Lernen auftreten, zu gewinnen. Viele der erfolgreichen Algorithmen des maschinellen Lernens, aber auch Algorithmen in verwandten Gebieten wie Computergraphik oder Visualisierung, haben frei einstellbare Parameter, die das Ergebnis des Algorithmus stark beeinflussen können. Ein Parameter, der in überwachten Lernalgorithmen von besonderem Interesse ist, kontrolliert den Ausgleich zwischen der Komplexität des zu lernenden Models und der Genauigkeit des Models auf den Trainingsdaten. Dieser Parameter, auch Regularisierungsparameter genannt, tritt typischerweise in Optimierungsproblemen mit zwei widersprüchlichen Zielfunktionen auf, wobei die erste Zielfunktion die Modelkomplexitäat und die zweite den Trainingsfehler minimiert. Die Lösung des Optimierungsproblems als Funktion des Regularisierungsparameters wird Regularisierungspfad genannt. Für einige der populärsten Techniken des Maschinellen Lernens hat das Gesamtoptimierungsproblem die Form eines konvexen quadratischen Programms und auch die stückweise lineare Struktur des Regularisierungspfades ist bekannt. Die gerade erwähnten Techniken können auch sehr geometrisch interpretiert werden, wobei die geometrische Sichtweise oft zu neuen effizienten Algorithmen führt. In dem hier vorgeschlagenen Projekt wollen wir die Komplexität von Regularisierungspfaden (oder allgemeiner Lösungspfaden wenn andere Parameter als der Regularisierungsparameter betrachtet werden) von verschiedenen Methoden des maschinellen Lernens untersuchen. Wir sind dabei insbesondere an Methoden zur Präferenzanalyse interessiert. Darüberhinaus wollen wir versuchen, effiziente geometrische Algorithmen zur Berechnung der Lösungspfade zu finden, und diese Algorithmen dann in Präferenzanalyseanwendungen einsetzen.

• DFG Programme: Research Grants
• Participating Person: Dr.-Ing. Soeren Laue