Robustes und kommunikationseffizientes Lernen über Netzwerke

• Antragsteller: Professor Dr.-Ing. Abdelhak Zoubir
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 564846918

Beim verteilten Lernen versucht eine Gruppe von Knoten, die ein Netz bilden, gemeinsam eine Menge von Parametern auf der Grundlage ihrer lokalen Daten sowie der in der Nachbarschaft der Knoten ausgetauschten Informationen abzuleiten. Eine Vielzahl von Problemen, die von der verteilten Regression bis zum verteilten Deep Learning reichen, können in diesem Rahmen gelöst werden. In vielen Netzwerken sind die Sensoren räumlich verstreut, so dass einige der Sensoren Daten beobachten können, die durch große Ausreißer verfälscht sind. Diese Ausreißer werden aufgrund des Informationsaustauschs im Netzwerk dazu führen, dass der Gesamtalgorithmus nach einigen Iterationen zusammenbricht. Dies erfordert robuste Methoden, die unempfindlich gegenüber großen Ausreißern und anderen Modellabweichungen sind. Hier geht es darum, unter idealen Bedingungen etwas Effizienz zu opfern, um Abweichungen vom Idealfall zu tolerieren. Außerdem nimmt die Größe der aktuellen Modelle ständig zu, so dass die Übermittlung einer Aktualisierung mit einem hohen Kommunikationsaufwand verbunden ist. Daher ist es von entscheidender Bedeutung, die Kommunikationslast zu kontrollieren und gleichzeitig eine schnelle Konvergenzgeschwindigkeit beizubehalten, was zum Beispiel dadurch erreicht werden kann, dass nur sparse Nachrichten übermittelt werden. Im Rahmen des RoCELeaN-Projekts planen wir, die drei oben genannten Bereiche gemeinsam zu lösen: verteiltes Lernen, statistische Robustheit und Kommunikationseffizienz unter Verwendung sparser Nachrichten. Dieses Problem ist von besonderer Bedeutung, da viele moderne Anwendungen, z. B. intelligente Städte oder dezentrale Energiesysteme, eine immer größere Anzahl von Sensoren verwenden. Unseres Wissens nach befassen sich bestehende, aber wenige Arbeiten nur mit robustem oder kommunikationseffizientem verteiltem Lernen. Die wichtigsten offenen Fragen in diesem Projekt sind im Folgenden zusammengefasst: 1. Wie können Nachrichten so generiert und aggregiert werden, dass sie gegenüber verschiedenen Szenarien, einschließlich Ausreißern oder bösartigen Knoten, robust sind? 2. Wie kann die Kommunikationsbandbreite reduziert werden, indem nur sparse Nachrichten berücksichtigt werden, ohne die Konvergenzgeschwindigkeit zu beeinträchtigen? 3. Wie können sparse Nachrichten auf eine Weise generiert und aggregiert werden, die unempfindlich gegenüber verschiedenen Szenarien ist, einschließlich grober Ausreißer oder böswilliger Knoten? Ein erfolgreicher Abschluss des Projekts würde zu einem kohärenten Rahmenwerk führen, das sowohl praktische Algorithmen als auch theoretische Ergebnisse, wie Leistungsgarantien und Schranken, enthält. Die Signalverarbeitungsgruppe ist international anerkannt für ihre Arbeit im Bereich der robusten Statistik sowie der verteilten und sparsen Signalverarbeitung. Daher sehen wir uns in einer einmalig günstigen Position für einen erfolgreichen Abschluss des vorgeschlagenen Projekts, das diese Kernkompetenzen zusammenführt.

• DFG-Verfahren: Sachbeihilfen