Effiziente Implementierung von Spike-by-Spike Neuronalen Netzwerken unter Verwendung stochastischer und approximativer Techniken

• Antragsteller: Professor Dr. Alberto Garcia-Ortiz; Professor Dr. Klaus Pawelzik
• Fachliche Zuordnung: Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 465087996

Das übergeordnete Ziel dieses Projekts ist die Steigerung der Effizienz von künstlichen neuronalen Netzen mit Spikes durch Approximationsmethoden für Hardware und Algorithmen. Das Projekt konzentriert sich auf die Ausnutzung der der Spärlichkeit und Robustheit in sogenannten Spike-by-Spike-Netzen (SbS).Motiviert durch reale Nervensysteme, bieten Spiking Neuronale Netze (SNN) eine Alternative zu convolutional neural networks (CNNs). Die intrinsischen Vorteile von SNNs, wie bessere Parallelisierung, Robustheit und Energieeffizienz, versprechen ein hohes Potential für Verbesserungen. Dies hat zu großen Forschungsprogrammen in internationalen Unternehmen (z.B. Intel und IBM) sowie zu europaweiten Projekten geführt. Diese Forschungsanstrengungen versuchen die biologischen Vorbilder nachzuahmen. Die entsprechenden Implementierungen erfordern Hunderte von Kernen mit umfangreichen und komplexen Schaltungen. Im Gegensatz dazu bietet SbS einen Kompromiss zwischen rechnerischen Anforderungen und biologischem Realismus, der wesentliche Vorteile biologischer Netzwerke bewahrt und gleichzeitig eine wesentlich kompaktere technische Umsetzung ermöglicht.Um die Robustheit und Effizienz von SbS voll auszuschöpfen, sind dedizierte Hardware-Architekturen erforderlich. Durch die Kombination optimierter Hardware-Architekturen mit stochastischen und approximativen Verarbeitungsansätzen wollen wir die Leistung von pulsbasierten neuronalen Netzen und den Energieverbrauch um mindestens eine Größenordnung verbessern. Diese Entwicklungen werden zu speziellen Recheneinheiten führen, die außerhalb der üblichen Designspezifikationen liegen, und müssen deshalb durch eine Realisierung in einem ASIC getestet werden.Wir haben das Projekt in drei Säulen organisiert: A) Entwurf von dedizierten Hardware-Architekturen für SbS, wobei wir uns auf Robustheitsaspekte und die Möglichkeit der Nutzung stochastischer Techniken konzentrieren. B) Analyse und Entwurf hybrider Architekturen, die SbS mit Standard-CNN-Ansätzen symbiotisch kombinieren. C) Evaluation der theoretischen Ansätze mit einer ASIC-Implementierung und Entwicklung eines Entwurfs- und Evaluationssystems, das anderen Forschern zugänglich ist.Dieses Projekt wird sich in dreifacher Hinsicht auswirken: 1) Für die Elektrotechnik wird es neuartige Hardware-Architekturen für neuronale Netze mit einer Effizienz bereitstellen, die sich der des menschlichen Gehirns annähert. 2) Für die Neurowissenschaften wird es ein besseres Verständnis der Robustheit von spikenden Netzwerken liefern. 3) Für Anwendungen des maschinellen Lernens wird es die Robustheit und Spärlichkeit von spikenden Netzwerken zu etablierten tiefen neuronalen Netzwerken auf rechnerisch effiziente Weise hinzufügen.Die Spezialisierung der Antragsteller liegt in den theoretischen Neurowissenschaften und Mikroelektronik. Dabei bildet die reiche Erfahrung ihrer Gruppen in der multidisziplinären Zusammenarbeit eine solide Grundlage für den Erfolg dieses Projekts

• DFG-Verfahren: Sachbeihilfen