Spiking Neural Networks: Theoretische Grundlagen, Vertrauenswürdigkeit und Energie-Effizienz

• Antragstellerinnen / Antragsteller: Professor Dr.-Ing. Holger Boche; Professorin Dr. Gitta Kutyniok
• Fachliche Zuordnung: Mathematik ; Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 543965165

Obwohl Deep Learning bemerkenswerte Erfolge vorweisen kann, ist es trotzdem essentiell, seine Grenzen und Nachteile zu erkennen und anzugehen. Gegenwärtig weisen Deep-Learning-Methoden inhärente Probleme auf in Bezug auf Vertrauenswürdigkeit, wobei der Begriff "Vertrauenswürdigkeit" Aspekte wie Datenschutz, Sicherheit, Belastbarkeit, Zuverlässigkeit und Verantwortlichkeit umfasst. Kürzlich wurde gezeigt, dass der Erfolg von algorithmischen Berechnungen beim Deep Learning sogar von der verwendeten Computerplattform abhängen kann. Insbesondere die allgegenwärtige digitale Hardware, auf der Deep-Learning-Modelle in der Regel implementiert werden, weist Einschränkungen auf, die ein vertrauenswürdiges Deep Learning unter bestimmten Umständen verhindern können. Neben der Vertrauenswürdigkeit ist ein weiteres Problem im Zusammenhang mit Deep Learning der rasch steigende Bedarf an Rechenleistung. Da die Modelle immer komplexer werden und mehr Rechenressourcen benötigen, setzt sich zunehmend die Erkenntnis durch, dass die derzeitigen Technologien aufgrund ihres Energiebedarfs langfristig nicht tragbar sind. Daraus ergibt sich die zentrale Frage: Können wir diese Herausforderungen überwinden, um eine vertrauenswürdige und energieeffiziente künstliche Intelligenz zu schaffen? Eine mögliche Lösung, ohne die Fähigkeiten des Deep Learning zu beeinträchtigen, könnte der Einsatz von Spiking Neural Networks auf neuromorpher Hardware sein. Dies würde einen Wechsel auf der Softwareseite - von klassischen neuronalen Netzen zu weiterentwickelten Spiking Neural Networks - und auf der Hardwareseite - von einem klassischen digitalen Computermodell zu einem neuromorphen Ansatz, der für die Implementierung von Spiking Neural Networks optimiert ist - bedeuten. Das Ziel dieses Antrags ist die theoretische Analyse von Spiking Neural Networks in Kombination mit neuromorpher Hardware im Rahmen von vertrauenswürdigen und energieeffizienten Berechnungen. Unsere Hauptziele sind (1) die Untersuchung der Approximationseigenschaften von Spiking Neural Networks, insbesondere durch das Spike Response und Leaky-Integrate and Fire Model, (2) die Analyse theoretischer Aspekte der Algorithmen zum effektiven Training von Spiking Neural Networks, der Beweis von Fehlerschranken für die Generalisierung und die Durchführung umfassender numerischer Experimente zur Validierung der Ergebnisse, (3) die Einführung von Metriken zur Messung der Energieeffizienz und Durchführung einer vergleichenden Analyse der Implementierung von Spiking Neural Networks auf digitaler und neuromorpher Hardware und (4) die Untersuchung verschiedener Computermodelle und entsprechender Hardwareplattformen für die Implementierung von vertrauenswürdigen Spiking Neural Networks.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning