Codierte Verteilte Berechnung mit Anwendung im Maschinellen Lernen

• Antragstellerin: Professorin Dr.-Ing. Antonia Wachter-Zeh
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung von 2021 bis 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 470027923

• Erstellungsjahr: 2025

Zusammenfassung der Projektergebnisse

Ziel dieses Projektes war es, Tools aus dem Bereich der Kanalcodierung einzusetzen, um Geschwindigkeit, Sicherheit, und Datenschutz beim verteilten Rechnen und föderierten Lernen zu verbessern. Da große Datenmengen verarbeitet werden müssen, um maschinelle Lernmodelle zu trainieren (z.B. tiefe neuronale Netze, große Sprachmodelle usw.), ist eine Verteilung der Berechnungen auf mehrere Server hilfreich bzw. erforderlich. Verteilte Datenverarbeitung bringt jedoch Probleme mit sich, wie “Straggler” (Server mit geringeren Rechen- und Kommunikationsfähigkeiten) sowie Datenschutzund Sicherheitsbedenken (aufgrund der Verwendung externer Knoten). Föderiertes Lernen ist ein Paradigma des maschinellen Lernens, bei dem die Daten eine Eigenschaft dezentraler Nutzer sind und daher ähnliche Probleme wie bei der verteilten Datenverarbeitung auftreten. Unsere Ziele im Rahmen dieses Projektes waren: i) Entwicklung von Verfahren, die schnell, privat und sicher für die verteilte Datenverarbeitung sind, ii) Ableitung grundlegender Grenzen und Beschränkungen für Codierungsverfahren für verteiltes Rechnen, und iii) Entwicklung von Codierungsschemata für föderiertes Lernen unter Berücksichtigung von Straggler-Toleranz, Datenschutz und Sicherheitsaspekten. Um diese Ziele zu erreichen, verwendeten wir Techniken aus algebraischen Kanalcodes und aus Codes auf Graphen (auch bekannt als moderne Kanalcodierung), um unter anderem die Ausfallsicherheit gegenüber Stragglern zu gewährleisten und Datenschutz und Sicherheit sicherzustellen. Bekannte Techniken aus dem Bereich der Kanalcodierung, wie z.B. Group Testing, wurden eingesetzt. Zu unseren Ergebnissen gehört das erste datensichere, ratenlose Matrixmultiplikationsverfahren, welches Fountain-Codes verwendet, zur Beschleunigung der Matrixmultiplikation und Lagrange-codierte Berechnungen einsetzt, um die Privatsphäre der zu multiplizierenden Matrizen zu wahren. Darüber hinaus haben wir das Verfahren durch den Einsatz von Verifizierungstechniken verbessert, um die Resilienz gegen Angreifer zu gewährleisten. Wir konzentrierten uns auf das Problem der Wahrung der Privatsphäre bei Daten, die in dünn besetzten Matrizen gespeichert sind, da die vorhandenen Techniken diese Art von Matrizen nicht berücksichtigten. Dieses Projekt beschäftigte sich des weiteren mit der Beschleunigung des föderierten Lernens (auch bekannt als codiertes föderiertes Lernen), indem wir die Daten auf eine private Weise über verschiedene Clients hinweg replizieren. Dies stellt die erste Arbeit dar, die rechnerisch datensichere Techniken auf der Grundlage von codebasierter Kryptographie untersuchten, um die Privatsphäre beim codierten föderierten Lernen zu wahren. Ein wichtiger Aspekt beim föderierten Lernen ist die Kombination von Techniken zur Wahrung der Privatsphäre und zur Gewährleistung der Sicherheit. Um dies zu gewährleisten, haben wir Techniken aus dem Bereich des Group Testing übernommen, um eine private Identifizierung von Angreifern beim föderierten Lernen zu ermöglichen, wobei die sichere Aggregation als datenschutzfreundliche Technik eingesetzt wird.

Projektbezogene Publikationen (Auswahl)

• Adaptive Private Distributed Matrix Multiplication. IEEE Transactions on Information Theory, 68(4), 2653-2673.
  Bitar, Rawad; Xhemrishi, Marvin & Wachter-Zeh, Antonia
  
• Computational Code-Based Privacy in Coded Federated Learning. 2022 IEEE International Symposium on Information Theory (ISIT), 2034-2039. IEEE.
  Xhemrishi, Marvin; Graell i. Amat, Alexandre; Rosnes, Eirik & Wachter-Zeh, Antonia
  
• Distributed Matrix-Vector Multiplication with Sparsity and Privacy Guarantees. 2022 IEEE International Symposium on Information Theory (ISIT), 1028-1033. IEEE.
  Xhemrishi, Marvin; Bitar, Rawad & Wachter-Zeh, Antonia
  
• Efficient Distributed Machine Learning via Combinatorial Multi-Armed Bandits. 2022 IEEE International Symposium on Information Theory (ISIT), 1653-1658. IEEE.
  Egger, Maximilian; Bitar, Rawad; Wachter-Zeh, Antonia & Gündüz, Deniz
  
• Efficient Private Storage of Sparse Machine Learning Data. 2022 IEEE Information Theory Workshop (ITW), 214-219. IEEE.
  Xhemrishi, Marvin; Egger, Maximilian & Bitar, Rawad
  
• Secure Private and Adaptive Matrix Multiplication Beyond the Singleton Bound. IEEE Journal on Selected Areas in Information Theory, 3(2), 275-285.
  Hofmeister, Christoph; Bitar, Rawad; Xhemrishi, Marvin & Wachter-Zeh, Antonia
  
• Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load. 2023 IEEE International Symposium on Information Theory (ISIT), 1336-1341. IEEE.
  Egger, Maximilian; Hanna, Serge Kas & Bitar, Rawad
  
• Maximal-Capacity Discrete Memoryless Channel Identification. 2023 IEEE International Symposium on Information Theory (ISIT), 2248-2253. IEEE.
  Egger, Maximilian; Bitar, Rawad; Wachter-Zeh, Antonia; Gündüz, Deniz & Weinberger, Nir
  
• Private Aggregation in Wireless Federated Learning with Heterogeneous Clusters. 2023 IEEE International Symposium on Information Theory (ISIT), 54-59. IEEE.
  Egger, Maximilian; Hofmeister, Christoph; Wachter-Zeh, Antonia & Bitar, Rawad
  
• Sparse and Private Distributed Matrix Multiplication with Straggler Tolerance. 2023 IEEE International Symposium on Information Theory (ISIT), 2535-2540. IEEE.
  Egger, Maximilian; Xhemrishi, Marvin; Wachter-Zeh, Antonia & Bitar, Rawad
  
• Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises. 2024 IEEE Information Theory Workshop (ITW), 223-228. IEEE.
  Xia, Yue; Hofmeister, Christoph; Egger, Maximilian & Bitar, Rawad
  
• Capacity-Maximizing Input Symbol Selection for Discrete Memoryless Channels. 2024 IEEE International Symposium on Information Theory (ISIT), 723-728. IEEE.
  Egger, Maximilian; Bitar, Rawad; Wachter-Zeh, Antonia; Gündüz, Deniz & Weinberger, Nir
  
• Scalable and Reliable Over-the-Air Federated Edge Learning. GLOBECOM 2024 - 2024 IEEE Global Communications Conference, 3932-3937. IEEE.
  Egger, Maximilian; Hofmeister, Christoph; Kaya, Cem; Bitar, Rawad & Wachter-Zeh, Antonia
  
• Self-Duplicating Random Walks for Resilient Decentralized Learning on Graphs. GLOBECOM 2024 - 2024 IEEE Global Communications Conference, 2960-2965. IEEE.
  Egger, Maximilian; Ayache, Ghadir; Bitar, Rawad; Wachter-Zeh, Antonia & Rouayheb, Salim El
  
• Sparsity and Privacy in Secret Sharing: A Fundamental Trade-Off. IEEE Transactions on Information Forensics and Security, 19, 5136-5150.
  Bitar, Rawad; Egger, Maximilian; Wachter-Zeh, Antonia & Xhemrishi, Marvin
  
• BI- CompFL: Stochastic Federated Learning with Bi-Directional Compression
  Maximilian Egger, Rawad Bitar, Antonia Wachter-Zeh, Nir Weinberger & Deniz Gündüz
  
• Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
  Maximilian Egger, Mayank Bakshi & Rawad Bitar
  
• Cost-Efficient Distributed Learning via Combinatorial Multi-Armed Bandits. Entropy, 27(5), 541.
  Egger, Maximilian; Bitar, Rawad; Wachter-Zeh, Antonia & Gündüz, Deniz
  
• Detect & Score: Privacy-Preserving Misbehavior Detection and Contribution Evaluation in Federated Learning. Proceedings of the International Workshop on Secure and Efficient Federated Learning, 1-6. ACM.
  Xhemrishi, Marvin; Graell i. Amat, Alexandre & Pejo, Balazs
  
• Efficient Machine Unlearning by Model Splitting and Core Sample Selection. 2025 IEEE Information Theory Workshop (ITW), 1-6. IEEE.
  Egger, Maximilian; Bitar, Rawad & Urbanke, Rüdiger
  
• Federated One-Shot Learning with Data Privacy and Objective-Hiding. 2025 IEEE International Symposium on Information Theory (ISIT), 1-6. IEEE.
  Egger, Maximilian; Urbanke, Rüdiger & Bitar, Rawad
  
• Federated One-Shot Learning With Data Privacy and Objective-Hiding. IEEE Transactions on Information Forensics and Security, 20, 5166-5180.
  Egger, Maximilian; Urbanke, Rüdiger L. & Bitar, Rawad
  
• FedGT: Identification of Malicious Clients in Federated Learning With Secure Aggregation. IEEE Transactions on Information Forensics and Security, 20, 2577-2592.
  Xhemrishi, Marvin; Östman, Johan; Wachter-Zeh, Antonia & Amat, Alexandre Graell i.
  
• LoByITFL: Low Communication Secure and Private Federated Learning. Proceedings of the International Workshop on Secure and Efficient Federated Learning, 1-6. ACM.
  Xia, Yue; Egger, Maximilian; Hofmeister, Christoph & Bitar, Rawad
  
• Maximal-Capacity Discrete Memoryless Channel Identification. IEEE Transactions on Information Theory, 71(2), 1248-1265.
  Egger, Maximilian; Bitar, Rawad; Wachter-Zeh, Antonia; Gündüz, Deniz & Weinberger, Nir
  
• Multi-Terminal Remote Generation and Estimation Over a Broadcast Channel with Correlated Priors. 2025 IEEE International Symposium on Information Theory (ISIT), 1-6. IEEE.
  Egger, Maximilian; Bitar, Rawad; Wachter-Zeh, Antonia; Weinberger, Nir & Gündüz, Deniz
  
• Perfect Privacy for Discriminator-Based Byzantine-Resilient Federated Learning
  Yue Xia, Christoph Hofmeister, Maximilian Egger & Rawad Bitar
  
• Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning. 2025 IEEE Information Theory Workshop (ITW), 1-6. IEEE.
  Egger, Maximilian & Bitar, Rawad
  
• Private Aggregation in Hierarchical Wireless Federated Learning With Partial and Full Collusion. IEEE Transactions on Information Theory, 71(11), 8977-8992.
  Egger, Maximilian; Hofmeister, Christoph; Wachter-Zeh, Antonia & Bitar, Rawad
  
• Self-Duplicating Random Walks for Resilient Decentralized Learning on Graphs
  Egger, Maximilian; Ayache, Ghadir; Bitar, Rawad; Wachter-Zeh, Antonia & Rouayheb, Salim El
  
• Soft-Decision Decoding for LDPC Code-Based Quantitative Group Testing. 2025 14th International ITG Conference on Systems, Communications and Coding (SCC), 1-6. IEEE.
  Xhemrishi, Marvin; Östman, Johan & Graell i. Amat, Alexandre
  
• Source Anonymity for Private Random Walk Decentralized Learning. 2025 IEEE Information Theory Workshop (ITW), 1-6. IEEE.
  Egger, Maximilian; Lage, Svenja; Bitar, Rawad & Wachter-Zeh, Antonia