Erforschung effizienter und robuster optischer Beschleuniger für neuronale Netze

• Antragsteller: Privatdozent Dr.-Ing. Bing Li; Professor Dr.-Ing. Ulf Schlichtmann
• Fachliche Zuordnung: Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 497488621

In den letzten Jahren haben tiefe neuronale Netze (DNNs) signifikante Durchbrüche erzielt. Dieser Fortschritt geht jedoch mit einer raschen Zunahme der Anzahl der Schichten und der Rechenoperationen in DNNs einher. Die Nutzung optischer Multiply-and-accumulate (OMAC)-Module auf Basis von Silizium-Photonik-Komponenten unter Verwendung von Licht als Rechenmedium kann neuronale Netze beschleunigen. Jedoch beschränken sich bisherige Forschungen zum Entwurf dieser optischen Beschleuniger auf kleine neuronale Netze mit einfachen Architekturen, welche üblicherweise nur eine begrenzte Rechenleistung bieten. Es fehlen noch allgemeingültige Lösungen, um die Herausforderungen von Effizienz bis Robustheit beim Einsatz von OMAC-Modulen zur Beschleunigung großer neuronaler Netze zu bewältigen. In diesem Projekt wollen wir den systematischen Entwurf von OMAC-Modulen zur Beschleunigung neuronaler Netze erforschen. Damit sollen die Hardwareeffizienz, Rechengenauigkeit und Robustheit von neuronalen Netzen unter Hardwareunsicherheiten (z.B. Fertigungsschwankungen, Rauschen) ganzheitlich verbessert werden. Zunächst wird die Verteilung von Rechenaufgaben in neuronalen Netzen auf OMAC-Module untersucht, um die Größen der OMAC-Module und damit die erforderlichen Hardware-Ressourcen zu reduzieren. Darüber hinaus werden Architekturen dieser Beschleuniger erforscht und die internen Strukturen von OMAC-Modulen durch Entwurfsraumexploration optimiert, so dass verschiedene neuronale Netze effizient verarbeitet werden können. Um die Recheneffizienz weiter zu erhöhen und die Fläche der OMAC-Module weiter zu reduzieren, wird die Repräsentation von Daten in Lichtsignalen optimiert, indem Daten sowohl durch die Amplituden als auch die Phasen von Lichtsignalen kodiert werden. Die Robustheit von OMAC-Modulen unter Fertigungsschwankungen, Rauschen und thermischen Effekten wird auch durch den Einsatz von Ensemble-Lernen sowie durch Architektur-Modifikation verbessert. Das resultierende OMAC-Design ermöglicht ein effizientes Testen interner Signale und ist robust gegen Hardwareunsicherheiten und -fehler bei der Beschleunigung von DNNs.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Kooperationspartner: Dr. Bert Jan Offrein