Auto-Tune: Automatische Strukturoptimierung von Lernalgorithmen auf großen Datensätzen

• Antragsteller: Professor Dr.-Ing. Thomas Brox; Professor Dr. Philipp Hennig; Professor Frank Hutter, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2014 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 260351709

• Erstellungsjahr: 2019

Zusammenfassung der Projektergebnisse

Maschinelles Lernen ist ein Eckpfeiler der Technologierevolution, und ist sowohl für Zukunftsanwendungen wie autonomes Fahren als auch für gegenwärtige Anwendungen wie Übersetzungsanwendungen von zentraler Wichtigkeit. Im Rahmen des Projektes wurde an Methoden zur autonomen Anwendung von Algorithmen des Maschinellen Lernens gearbeitet. In der Praxis wurden diese Algorithmen von Forschern bisher manuell für eine sehr spezielle Klasse von Problemen entwickelt und angepasst. Während es möglich ist, diese Algorithmen auch für andere Probleme anzupassen, benötigte man dafür ein ausgeprägtes Verständnis von sowohl den Algorithmen als auch der Zieldomäne. Hauptziel des Forschungsprojektes war es daher, die Notwendigkeit des Anpassens der Algorithmen durch einen Menschen durch selbstanpassende Algorithmen überflüssig zu machen oder zu vereinfachen. Konkret wurden mehrere Prototypen entwickelt, welche es erlauben die automatische Anpassung von Systemen des Maschinellen Lernens in deutlich geringerer Zeit durchzuführen als zuvor. Ein Projekt, benannt Auto-sklearn, erlaubt sogar das Erstellen von Modellen des Maschinellen Lernens ohne menschliche Interaktion. Mithilfte dieses Systems erlangte die Arbeitsgruppe um Prof. Dr. Frank Hutter sechs von zehn ersten Plätzen im ersten internationalen Wettbewerb für automatisiertes Maschinellen Lernen.

Projektbezogene Publikationen (Auswahl)

• Efficient and robust automated machine learning. Proceedings of the 28th International Conference on Advances in Neural Information Processing Systems (2015)
  M. Feurer and A. Klein and K. Eggensperger and J. Springenberg and M. Blum and F. Hutter
  
• Initializing Bayesian Hyperparameter Optimization via Meta-Learning. Proceedings of the 29th AAAI Conference on Artificial Intelligence (2015)
  M. Feurer and J. Springenberg and F. Hutter
  
• Speeding up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves. Proceedings of the 24th International Joint Conference on Artificial Intelligence (2015)
  T. Domhan and J. Springenberg and F. Hutter
  
• Bayesian optimization with robust Bayesian neural networks. Proceedings of the 29th International Conference on Advances in Neural Information Processing Systems (2016)
  J. Springenberg and A. Klein and S. Falkner and F. Hutter
  
• Fast Bayesian hyperparameter optimization on large datasets. Electronic Journal of Statistics (2017)
  A. Klein and S. Falkner and S. Bartels and P. Hennig and F. Hutter
  
• Learning curve prediction with Bayesian neural networks. Proceedings of the International Conference on Learning Representations (2017)
  A. Klein and S. Falkner and J. Springenberg and F. Hutter
  
• OpenML Benchmarking Suites and the OpenML100
  B. Bischl and G. Casalicchio and M. Feurer and F. Hutter and M. Lang and R. Mantovani and J. an Rijn and J. Vanschoren
  
• RoBO: A Flexible and Robust Bayesian Optimization Framework in Python. NeurIPS 2017 Bayesian Optimization Workshop (2017)
  A. Klein and S. Falkner and N. Mansur and F. Hutter
  
• BOHB: Robust and Efficient Hyperparameter Optimization at Scale. Proceedings of the 35th International Conference on Machine Learning (2018)
  S. Falkner and A. Klein and F. Hutter
  
• Uncertainty estimates and multi-hypotheses networks for optical flow. Proceedings of the European Conference on Computer Vision (2018)
  E. Ilg and O. Cicek and S. Galesso and A. Klein and O. Makansi and F. Hutter and T. Brox