Neuromorphe Memristive VLSI-Architekturen für Kognition (NMVAK)
Zusammenfassung der Projektergebnisse
Neuromorphes Computing hat das Ziel die Effizienz und Anpassungsfähigkeit von biologischen Systemen zur Informationsverarbeitung technisch nachzubilden, indem es die Rechenprinzipien kognitiver Funktionen in maßgeschneiderter Hardware nachahmt. Damit ist es möglich existierende Einschränkungen maschinell lernender Systeme zu überwinden. Ziel ist es lernende kognitive Systeme zu realisieren die über generalisierbare Fähigkeiten verfügen und mit minimalen Rechenressourcen auskommen. Technisch basiert der Ansatz dieses Projektes auf der Entwicklung von analogen (sub-threshold) VLSI- Schaltungen in Kombination mit memristiven Bauelementen. Hierbei hat sich in den letzten Jahren gezeigt, dass die nicht-flüchtige Speicherfunktion memristiver Bauelemente eine Parallelisierung von Matrix-Vektor Multiplikationen in Hardware ermöglicht und damit enorme Einsparungen bei Energieverbrauch und Rechenzeiten von KI-Systemen ermöglicht. Jedoch stellt die Variabilität memristiver Bauelemente basierend auf der inhärenten Stochastizität Einschränkungen in der Zuverlässigkeit und Genauigkeit da, was die Entwicklung komplexerer neuromorpher Systeme für reale Anwendungen erschwert. Deshalb war Ziel dieses Projektes die inhärenten Stochastizität memristiver Bauelemente für die Entwicklung von Lernprozessen zu verwenden, um so robuste, zuverlässige und skalierbare neuromorphe Systeme zu realisieren. Mittels dreier Ansätze ist dieses Projekt diese Herausforderungen angegangen: 1. Entwicklung geeigneter Lernmodelle, die die inhärenten Stochastizität memristiver Bauelemente berücksichtigen und es ermöglichen kognitive Lernfunktionen innerhalb von RRAM Strukturen zu implementieren. 2. Entwicklung von spiking-neuronalen Netzwerken, die es erlauben memristive Bauelemente unterschiedlichster Charakteristika innerhalb einer CMOS-Schaltung zu integrieren. 3. Kombination von vektor-symbolische Architekturen (VSAs) mit Attraktornetzwerken. Dabei erlauben VSAs Informationen gleichmäßig auf alle Neuronen des Netzwerkes zu verteilen, während Attraktornetzwerke eine emergente Stabilität und autoassoziative Speicherfunktion besitzen. Der hier entwickelte Ansatz ist besonders attraktiv für neuromorphe Hardware, in der Größe und Parallelität vorhanden, aber die Zuverlässigkeit einzelner Bauelemente nicht immer gegeben ist.
Projektbezogene Publikationen (Auswahl)
-
Robust Spiking Attractor Networks with a Hard Winner-Take-All Neuron Circuit. 2023 IEEE International Symposium on Circuits and Systems (ISCAS), 1-5. IEEE.
Cotteret, Madison; Richter, Ole; Mastella, Michele; Greatorex, Hugh; Janotte, Ella; Girão, Willian Soares; Ziegler, Martin & Chicca, Elisabetta
-
Blooming and pruning: learning from mistakes with memristive synapses. Scientific Reports, 14(1).
Nikiruy, Kristina; Perez, Eduardo; Baroni, Andrea; Reddy, Keerthi Dorai Swamy; Pechmann, Stefan; Wenger, Christian & Ziegler, Martin
-
Vector Symbolic Finite State Machines in Attractor Neural Networks. Neural Computation, 36(4), 549-595.
Cotteret, Madison; Greatorex, Hugh; Ziegler, Martin & Chicca, Elisabetta
-
A neuromorphic processor with on-chip learning for beyond-CMOS device integration. Nature Communications, 16(1).
Greatorex, Hugh; Richter, Ole; Mastella, Michele; Cotteret, Madison; Klein, Philipp; Fabre, Maxime; Rubino, Arianna; Soares, Girão Willian; Chen, Junren; Ziegler, Martin; Bégon-Lours, Laura; Indiveri, Giacomo & Chicca, Elisabetta
-
Distributed representations enable robust multi-timescale symbolic computation in neuromorphic hardware. Neuromorphic Computing and Engineering, 5(1), 014008.
Cotteret, Madison; Greatorex, Hugh; Renner, Alpha; Chen, Junren; Neftci, Emre; Wu, Huaqiang; Indiveri, Giacomo; Ziegler, Martin & Chicca, Elisabetta
