Sende-/Empfangssysteme basierend auf neuronalen Netzen, die nach dem Autoencoder-Prinzip über eine gesamte Ende-zu-Ende Verbindung eingelernt werden
Zusammenfassung der Projektergebnisse
Als dieses Projekt 2018 startete, war die Idee trainierbare Komponenten in Kommunikationssysteme einzubauen sehr vielversprechend und es eröffnete sich ein völlig neues Forschungsfeld. Die Vision von Ende-zu-Ende-gelernten Autoencoder-basierten Kommunikationssystemen war bereits formuliert, aber eine praktische Implementierung eines solchen Systems, das herkömmliche Systeme in jeder Hinsicht übertrifft, gab es noch nicht. Somit steckte das Konzept der Autoencoder-basierten Systeme noch in den Kinderschuhen. In diesem Projekt haben wir uns zunächst auf die Synchronisationsprobleme konzentriert, die in früheren Arbeiten eines der groten Hindernisse darstellten. Die Idee war, Probleme aufgrund von Timing-Offsets zu losen, um die Gewinne, die wir bereits auf simulierten Kanälen gesehen haben, auch messen zu küonnen. Dies geschah durch die Einbettung des Autoencoder-Systems in eine konventionelle OFDM-Struktur, welche die meisten Synchronisationsprobleme löste und Kanaländerungen auf eine Single-Tap-Entzerrung reduzierte. Ein weiterer vielversprechender Ansatz bestand darin, das Autoencoder-System mit einem äußeren FEC-Code zu erweitern. Daraus entstand die Idee, erfolgreich dekodierte Codewörter für das Feintraining eines NN-basierten Empfängers zu verwenden, welche auch patentiert wurde. Zu Beginn dieses Projekts und entsprechend den Zielen von WP1 wurden auch Themen in einem breiteren Spektrum des Bereichs des tiefen Lernens (Deep Learning) für Übertragungstechnik untersucht. Dazu gehörten Untersuchungen zu den Fähigkeiten rekurrenter NNs am Beispiel der Dekodierung von Faltungscodes, die Verwendung von CSI-Daten, welche in MIMO-Systemen anfallen, um mit einem NN die Position des Senders zu ermitteln, und Deep-Learning-basiertes Polarcode-Design. Eine der wichtigsten Erkenntnisse dieses Projekts war die Notwendigkeit von einem symbolweisen Autoencoder, der eine Informationsnachricht als Ganzes kodiert und dekodiert, zu einem bitweisen Autoencoder zu wechseln, welcher einen Bitvektor kodiert und dekodiert, während er gleichzeitig ein Bit-Labeling-Schema erlernt. Diese Änderung war nur durch die Entwicklung geeigneter Trainingsstrategien möglich und ist der Schlüssel dazu, dass sich das Autoencodersystem in ein BICM-System integrieren lässt und optimal mit dem äußeren BMD zusammenarbeiten kann. Im Zuge dessen haben wir auch eine IDD-Autoencoder-Struktur vorgeschlagen, die es erlaubt, noch mehr Informationen aus der gelernten Signalisierung zurückzugewinnen, und wir haben vorgeschlagen, den äußeren LDPC-Code ebenfalls speziell für die gelernte Signalisierung des Autoencoders zu entwerfen. Dank dieser Verbesserungen konnten wir signifikante Gewinne durch geometrische Optimierung der Konstellationspunkte beobachten, die (basierend auf dem Autoencoder-Konzept) theoretisch über jede Art von Kanal erzielt werden können. Und waährend frühe Implementierungen eines Autoencoderbasierten Kommunikationssystems nicht in der Lage waren konventionelle Systeme zu übertreffen, konnten wir nun mit dem BICM Autoencoder deutlich bessere BERs im Vergleich zu konventionellen Modulationsverfahren messen. Zum Abschluss des Projekts haben wir uns mit dem Problem des fehlenden Kanalgradienten befasst, d. h. dem Fehlen eines Gradienten durch einen tatsächlich gemessenen Kanal, welches ein SGD-basiertes Training des Senders verhindert. Zu diesem Zweck schlugen wir vor, den Kanal mit einem Wasserstein GAN nachzubilden und dann in einem zweiten Schritt den Autoencoder Ende-zu-Ende zu trainieren, während der Generator des WGAN als differenzierbares Kanalmodell verwendet wird. Wir haben auch eine neuartige TurboAutoencoder-Architektur untersucht, die es einem Autoencoder-System erlaubt, k >> 16 Bits in einer einzigen Nachricht zu kodieren und dadurch den curse of dimensionality zu umgehen. Kurz zusammengefasst lag der Schwerpunkt dieses Projekts auf der Untersuchung des Potenzials von Autoencoder-basierten Kommunikationssystemen und Deep Learning für die physikalische Ebene (PHY layer) im Allgemeinen.
Projektbezogene Publikationen (Auswahl)
- “Iterative Detection and Decoding for Trainable Communication Systems”
Jakob Hoydis, Sebastian Cammerer, Sebastian Dörner, Jannis Clausius, Stephan ten Brink
- “Neural Network-based Multi-user Identification and Synchronization Technique”
Jakob Hoydis, Sebastian Cammerer, Sebastian Dörner, Jannis Clausius, Stephan ten Brink
- “Turbo Finetuning for Trainable Communication Systems”
Jakob Hoydis, Sebastian Cammerer, Sebastian Dörner, Stefan Schibisch
- “OFDM-autoencoder for end-to-end learning of communications systems”. In: IEEE 19th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC). 2018, pp. 1–5
Alexander Felix, Sebastian Cammerer, Sebastian Dörner, Jakob Hoydis, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/SPAWC.2018.8445920) - “On Deep Learning-Based Massive MIMO Indoor User Localization”. In: 2018 IEEE 19th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC). 2018
Maximilian Arnold, Sebastian Dörner, Sebastian Cammerer, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/SPAWC.2018.8446013) - “Online label recovery for deep learning-based communication through error correcting codes”. In: IEEE 15th International Symposium on Wireless Communication Systems (ISWCS). 2018, pp. 1–5
Stefan Schibisch, Sebastian Cammerer, Sebastian Dörner, Jakob Hoydis, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/ISWCS.2018.8491189) - “Deep Learning-Based Polar Code Design”. In: 2019 57th Annual Allerton Conference on Communication, Control, and Computing (Allerton). 2019, pp. 177–183
Moustafa Ebada, Sebastian Cammerer, Ahmed Elkelesh, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/ALLERTON.2019.8919804) - “On Recurrent Neural Networks for Sequence-based Processing in Communications”. In: 2019 53rd Asilomar Conference on Signals, Systems, and Computers. IEEE. 2019, pp. 537–543
Daniel Tandler, Sebastian Dörner, Sebastian Cammerer, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/IEEECONF44664.2019.9048728) - Trainable Communication Systems, PhD Dissertation, Universität Stuttgart, 2020
Sebastian Cammerer
- “Trainable Communication Systems: Concepts and Prototype”. In: IEEE Transactions on Communications 68.9 (2020), pp. 5489–5503
Sebastian Cammerer, Fayçal Ait Aoudia, Sebastian Dörner, Maximilian Stark, Jakob Hoydis, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/TCOMM.2020.3002915) - “WGAN-based Autoencoder Training Over-the-air”. In: 2020 IEEE 21st International Workshop on Signal Processing Advances in Wireless Communications (SPAWC). 2020, pp. 1–5
Sebastian Dörner, Marcus Henninger, Sebastian Cammerer, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/SPAWC48557.2020.9154335) - “Serial vs. Parallel Turbo-Autoencoders and Accelerated Training for Learned Channel Codes”. In: 2021 11th International Symposium on Topics in Coding (ISTC). 2021, pp. 1–5
Jannis Clausius, Sebastian Dörner, Sebastian Cammerer, and Stephan ten Brink
(Siehe online unter https://doi.org/10.1109/ISTC49272.2021.9594130)
