Heterogenitäts- und ressourcenbewusstes verteiltes maschinelles Lernen

• Antragsteller: Professor Dr. Jian-Jia Chen; Professor Dr.-Ing. Jörg Henkel
• Fachliche Zuordnung: Rechnerarchitektur, eingebettete und massiv parallele Systeme
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 577158278

In den letzten Jahren hat sich Federated Learning (FL) als datenschutzfreundliches und kommunikationseffizientes Paradigma für das Training von Machine-Learning-Modellen (ML) auf verteilten Geräten etabliert. Durch lokales Training auf Nutzergeräten und die ausschließliche Aggregation von Modellaktualisierungen entfällt bei FL die Notwendigkeit der Zentralisierung sensibler Daten, eine Anforderung, die zunehmend durch Datenschutzbedenken und regulatorische Rahmenbedingungen wie die DSGVO und den CCPA vorangetrieben wird. Der erfolgreiche Einsatz von FL in realen Anwendungen wird jedoch durch die heterogene und dynamische Natur von Edge-Umgebungen erheblich erschwert. Geräte unterscheiden sich nicht nur in Rechenleistung, Energieverfügbarkeit und Kommunikationsbandbreite, sondern auch in Datenvolumen und -qualität. Diese Unterschiede, die sich oft im Laufe der Zeit entwickeln, stellen Herausforderungen bei der Aufrechterhaltung der Konvergenzgeschwindigkeit, der Modellgenauigkeit und der Trainingsrobustheit dar. Aktuelle FL-Techniken gehen häufig von statischen oder homogenen Systembedingungen aus, was zu einer kritischen Lücke in ihrer Anwendbarkeit in realistischen, ressourcenbeschränkten Umgebungen führt. Dieses Forschungsprojekt begegnet diesen Herausforderungen mit drei Kernzielen: i) Entwicklung robuster Techniken auf System- und Geräteebene, die ein hohes Maß an Heterogenität berücksichtigen, ohne die Lernqualität zu beeinträchtigen; ii) Ermöglichung einer dynamischen Anpassung von FL-Strategien an sich verändernde Ressourcen- und Datenbedingungen; und iii) Automatisierung der Konfiguration und Optimierung von FL-Systemen für heterogene Implementierungen. Um diese Ziele zu erreichen, schlagen wir vier eng miteinander verknüpfte Forschungsbereiche vor. Der erste Bereich entwickelt ressourceneffiziente Trainingsalgorithmen und hardwarebasierte FL-Mechanismen, um das Training auf eingeschränkten Geräten zu unterstützen. Der zweite Bereich führt adaptive Strategien und belastbare Modelldesigns ein, um Robustheit unter Schwankungen zur Laufzeit zu gewährleisten. Der dritte Bereich entwickelt automatisierte Tools für die Hyperparameter-Optimierung und die Systemdesignoptimierung in dynamischen Umgebungen. Der vierte Bereich etabliert eine hybride Evaluierungsplattform, die reale Hardware mit Softwareemulationen kombiniert, um die Skalierbarkeit und Generalisierbarkeit der entwickelten Techniken zu bewerten. Gemeinsam fördern diese Bemühungen ein ganzheitliches, skalierbares und adaptives FL-Framework, das auf dynamische, heterogene, verteilte Umgebungen zugeschnitten ist.

• DFG-Verfahren: Sachbeihilfen