Prinzipiengeleitetes, effizientes und stabiles ereignisbasiertes Lernen in spikenden neuronalen Netzen

• Antragsteller: Dr. Christian Klos
• Fachliche Zuordnung: Experimentelle und theoretische Netzwerk-Neurowissenschaften ; Künstliche Intelligenz und Maschinelle Lernverfahren ; Statistische Physik, Nichtlineare Dynamik, Komplexe Systeme, Weiche und fluide Materie, Biologische Physik
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 580311533

Im Gegensatz zu konventionellen künstlichen neuronalen Netzen basieren spikende neuronale Netze (SNNs) auf spärlicher, asynchroner Kommunikation mittels diskreter Spikes, die der Form neuronaler Interaktion im Gehirn entspricht. Dieser Kommunikationsmodus ermöglicht sowohl realitätsnähere Modelle neuronaler Informationsverarbeitung als auch deutlich energieeffizientere künstliche Intelligenzen beim Einsatz neuromorpher Hardware. Um das Potenzial von SNNs auszuschöpfen, sind effiziente und leistungsfähige Trainingsmethoden unerlässlich.Der vorherrschende Ansatz beruht auf zeitdiskreten Simulationen in Kombination mit Surrogat-Gradientenabstiegsverfahren, die die Gradientenberechnung so modifizieren, dass man trotz der Diskretheit von Spikes Gradienten ungleich null erhält. Dieser Ansatz nutzt jedoch die spärliche Kommunikation nicht aus und liefert ungenaue Gradienten. Ereignisbasierte Methoden bieten eine vielversprechende Alternative: Sie simulieren SNNs exakt, indem sie über Spikes statt über Zeitschritte iterieren, wodurch die Kommunikationsspärlichkeit ausgenutzt und exakte Gradienten durch die Behandlung von Spikezeiten als differenzierbare Größen ermöglicht werden. Allerdings sind aktuelle ereignisbasierte Verfahren bei hoher Spikeanzahl ineffizient und leiden zudem unter explodierenden oder verschwindenden Gradienten. Ziel dieses Projekts ist es, exakte ereignisbasierte Simulation und Lernen als praktisch nutzbare Methoden für das Training von SNNs zu etablieren. Das Projekt umfasst drei Teile. Erstens werde ich effiziente Algorithmen für ereignisbasiertes Training auf modernen GPUs entwickeln. Zur Reduktion des Speicherbedarfs schlage ich eine neuartige Kombination aus zeitinvertierten Simulationen mit minimaler Wiederverwendung von im Vorwärtsdurchlauf gespeicherten Informationen vor. Zur Verringerung der Laufzeit werde ich spärliche Netzwerkkonnektivität ausnutzen und die simultane Verarbeitung mehrerer Spikes untersuchen. Zweitens werde ich Gradientinstabilitäten mit rigorosen Methoden der Theorie dynamischer Systeme adressieren. Anhand von Aufgaben mit kontrollierbarer zeitlicher Komplexität, werde ich die Stabilität der Gradienten mittels seiner Norm und Dimensionalität sowie mittels des Spektrums der Ljapunow-Exponenten charakterisieren und zentrale neuronale und netzwerkbezogene Faktoren identifizieren, die die Trainierbarkeit bestimmen. Drittens werde ich diese Erkenntnisse nutzen, um neuartige SNN-Modelle und -Architekturen zu konstruieren, die sowohl rechnerisch effizient als auch effektiv trainierbar sind, und diese an anspruchsvollen neuromorphen Datensätzen erproben, die bisher nicht mit ereignisbasierten Verfahren bearbeitet wurden. Die Ergebnisse werden ein grundlegendes Verständnis darüber liefern, welche Klassen von SNNs effektiv und effizient trainierbar sind und neue Wege zur Konstruktion von SNNs im neuromorphen Computing und in den rechnergestützten Neurowissenschaften eröffnen.

• DFG-Verfahren: Stipendium
• Internationaler Bezug: USA
• Gastgeber: Professor Dr. Rainer Engelken