Skalierbare verteilte Deep Learning-Optimierung

• Antragsteller: Dr. Sebastian Stich
• Fachliche Zuordnung: Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 553954458

Das exponentielle Wachstum von Datensätzen und Modellen beim maschinellen Lernen erfordert skalierbare Optimierungsmethoden, um verteilte Systeme effizient zu nutzen. Dieser Antrag befasst sich mit den Herausforderungen der verteilten Deep Learning Optimierung, insbesondere in nicht-konvexen Umgebungen. Herkömmliche Optimierungsmethoden und Erkenntnisse aus der konvexen Optimierung lassen sich nicht gut auf diese Szenarien verallgemeinern, was zu Ineffizienzen und erhöhtem Ressourcenverbrauch führt. Unsere Forschung zielt darauf ab, neue Optimierungsverfahren zu entwickeln und zu validieren, die den einzigartigen Herausforderungen des verteilten Deep Learning gewachsen sind. Wir werden uns auf skalierbare föderierte Lern- und dezentrale Optimierungsmethoden konzentrieren und dabei kritische Themen wie Driftkorrektur, Regeln für die Parameterskalierung und die Integration fortschrittlicher neuronaler Netzwerkarchitekturen wie Transformatoren angehen. Durch Benchmarking dieser Techniken in verschiedenen simulierten Umgebungen und realen Anwendungen wollen wir umfassende Richtlinien ableiten, die die Effizienz und Skalierbarkeit des verteilten Deep Learning verbessern. Unser interdisziplinäres Team vereint Fachwissen in den Bereichen stochastische Optimierung, föderiertes Lernen und Training neuronaler Netze und gewährleistet so einen umfassenden Ansatz zur Lösung dieser komplexen Probleme. Die Ergebnisse dieses Projekts werden einen wichtigen Beitrag zum Bereich des verteilten maschinellen Lernens leisten, indem sie praktische Lösungen für effizientes Training von grossen Modellen bieten, was wiederum dazu beitragen wird, den CO2-Fussabdruck des Deep Learning zu verringern.

• DFG-Verfahren: Sachbeihilfen