Multi-Agent Reinforcement Learning für Moderne Mobilfunkprotokolle

• Antragsteller: Professor Dr.-Ing. Peter Rost
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 556070992

Dieses Projekt entwickelt eine neue Kategorie von Mobilfunkprotokollen, welche einerseits speziell für den Einsatz von maschinellem Lernen optimiert werden und andererseits ebenso mit Hilfe von maschinellem Lernen „angelernt“ werden. Diese Art von Mobilfunkprotokollen haben das Potential konventionelle modellbasierte Methoden teilweise zu ersetzen, um eine dynamischere Weiterentwicklung der Funknetzarchitektur zu ermöglichen, v.a. mit Blick auf den Einsatz von maschinellem Lernen auf der physikalischen Schicht. Hierdurch ermöglichen die Protokolle mehr Flexibilität, Adaptierbarkeit und sie verkürzen die Entwicklungszyklen für neue Funknetzprotokolle, v.a. hinsichtlich der notwendigen Standardisierung. Im Fokus des Projektes steht die Untersuchung von „Multi-Agent Reinforcement Learning“ (MARL) bei dem „Agenten“ selbständig Protokolle lernen, um gemeinsam Aufgaben zu erledigen bzw. gemeinsame Ziele zu erreichen. Das Projekt untersucht wie MARL in Funknetzen angewandt werden kann, im Besonderen wie die einzelnen Agenten dimensioniert werden müssen, wie notwendige Nachrichten angelernt werden können und wie die Interaktion zwischen diesen „Agenten“ und dem Funknetz gestaltet werden muss. Die entwickelten Protokolle müssen adaptierbar und robust sein gegenüber verschiedenen, typischen Einflüssen in Mobilfunknetzen wie zeitlichen und räumlichen Änderungen des Übertragungsqualität, der verfügbaren Daten und der Qualität der Daten. Diese Adaptierbarkeit ist von wesentlicher Bedeutung für eine erfolgreiche Integration neuartiger Methoden basierend auf maschinellem Lernen. Weiterhin untersucht das Projekt die Integration in eine Mobilfunknetzarchitektur, v.a. wie die notwendigen Daten verfügbar gemacht werden können und die diese Daten möglicherweise vorverarbeitet werden müssen. Des Weiteren wird untersucht, wie die Verteilung und der kontinuierliche Lernprozess der einzelnen „Agenten“ organisiert werden müssen, damit die Leistungskennwerte durchgehend den gestellten Anforderungen genügen. Die untersuchten Algorithmen werden hinsichtlich ihres Konvergenzverhaltens, Skalierbarkeit, Robustheit und Effizienz bewertet und verglichen. Um einen fairen Vergleich zu ermöglichen, werden zwei beispielhafte Anwendungen genutzt, die von hoher Relevanz für Funknetze sind. Zum einen ist dies der Mobilitätsprozess und zum anderen die Zuweisung von Funkressourcen. Beim Mobilitätsprozess muss auf der Basis der verfügbaren Kanalinformationen entschieden werden, wann ein Endgerät von einer Zelle zur nächsten übergeben wird, ohne dass es zu Fehlern bzw. Unterbrechungen bei der Mobilfunkverbindung kommt. Bei der Zuweisung von Funkressourcen ist das Ziel, dass die wenigen Funkressourcen anhand von gesetzten Dienstgütekriterien an verschiedene Endgeräte vergeben werden und hierbei der notwendige Signalisierungsaufwand minimiert wird. In diesem Projekt werden die untersuchten MARL-basierten Methoden mit konventionellen Protokollen verglichen.

• DFG-Verfahren: Sachbeihilfen