Auto-Tune: Structural Optimization of Machine Learning Frameworks for Large Datasets

• Applicants: Professor Dr.-Ing. Thomas Brox; Professor Dr. Philipp Hennig; Professor Dr. Frank Hutter, Ph.D.
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2014 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 260351709

• Final Report Year: 2019

Final Report Abstract

Maschinelles Lernen ist ein Eckpfeiler der Technologierevolution, und ist sowohl für Zukunftsanwendungen wie autonomes Fahren als auch für gegenwärtige Anwendungen wie Übersetzungsanwendungen von zentraler Wichtigkeit. Im Rahmen des Projektes wurde an Methoden zur autonomen Anwendung von Algorithmen des Maschinellen Lernens gearbeitet. In der Praxis wurden diese Algorithmen von Forschern bisher manuell für eine sehr spezielle Klasse von Problemen entwickelt und angepasst. Während es möglich ist, diese Algorithmen auch für andere Probleme anzupassen, benötigte man dafür ein ausgeprägtes Verständnis von sowohl den Algorithmen als auch der Zieldomäne. Hauptziel des Forschungsprojektes war es daher, die Notwendigkeit des Anpassens der Algorithmen durch einen Menschen durch selbstanpassende Algorithmen überflüssig zu machen oder zu vereinfachen. Konkret wurden mehrere Prototypen entwickelt, welche es erlauben die automatische Anpassung von Systemen des Maschinellen Lernens in deutlich geringerer Zeit durchzuführen als zuvor. Ein Projekt, benannt Auto-sklearn, erlaubt sogar das Erstellen von Modellen des Maschinellen Lernens ohne menschliche Interaktion. Mithilfte dieses Systems erlangte die Arbeitsgruppe um Prof. Dr. Frank Hutter sechs von zehn ersten Plätzen im ersten internationalen Wettbewerb für automatisiertes Maschinellen Lernen.

Publications

• Efficient and robust automated machine learning. Proceedings of the 28th International Conference on Advances in Neural Information Processing Systems (2015)
  M. Feurer and A. Klein and K. Eggensperger and J. Springenberg and M. Blum and F. Hutter
  
• Initializing Bayesian Hyperparameter Optimization via Meta-Learning. Proceedings of the 29th AAAI Conference on Artificial Intelligence (2015)
  M. Feurer and J. Springenberg and F. Hutter
  
• Speeding up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves. Proceedings of the 24th International Joint Conference on Artificial Intelligence (2015)
  T. Domhan and J. Springenberg and F. Hutter
  
• Bayesian optimization with robust Bayesian neural networks. Proceedings of the 29th International Conference on Advances in Neural Information Processing Systems (2016)
  J. Springenberg and A. Klein and S. Falkner and F. Hutter
  
• Fast Bayesian hyperparameter optimization on large datasets. Electronic Journal of Statistics (2017)
  A. Klein and S. Falkner and S. Bartels and P. Hennig and F. Hutter
  (See online at https://doi.org/10.1214/17-EJS1335SI)
• Learning curve prediction with Bayesian neural networks. Proceedings of the International Conference on Learning Representations (2017)
  A. Klein and S. Falkner and J. Springenberg and F. Hutter
  
• OpenML Benchmarking Suites and the OpenML100
  B. Bischl and G. Casalicchio and M. Feurer and F. Hutter and M. Lang and R. Mantovani and J. an Rijn and J. Vanschoren
  
• RoBO: A Flexible and Robust Bayesian Optimization Framework in Python. NeurIPS 2017 Bayesian Optimization Workshop (2017)
  A. Klein and S. Falkner and N. Mansur and F. Hutter
  
• BOHB: Robust and Efficient Hyperparameter Optimization at Scale. Proceedings of the 35th International Conference on Machine Learning (2018)
  S. Falkner and A. Klein and F. Hutter
  
• Uncertainty estimates and multi-hypotheses networks for optical flow. Proceedings of the European Conference on Computer Vision (2018)
  E. Ilg and O. Cicek and S. Galesso and A. Klein and O. Makansi and F. Hutter and T. Brox
  (See online at https://doi.org/10.1007/978-3-030-01234-2_40)