Optimierung neuronaler approximativer Beschleunigerarchitekturen für DNN Inferenz auf leichtgewichtigen FPGAs (NA^3Os)

• Antragsteller: Professor Dr.-Ing. Jörg Henkel; Professor Dr.-Ing. Jürgen Teich
• Fachliche Zuordnung: Rechnerarchitektur, eingebettete und massiv parallele Systeme
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 524986327

Deep Learning hat die Art und Weise verändert, wie komplexe technischer Probleme gelöst werden. Viele Fortschritte, meist innerhalb des letzten Jahrzehnts, hatten bereits tiefgreifende Auswirkungen auf Systeme, die heute im täglichen Leben verwendet werden. Hintergrund ist, dass technische Systeme oft so komplex sind, dass es unmöglich ist, hinreichend genaue Modelle zu erstellen, die als Grundlage für klassische Optimierungsverfahren dienen können. Dies sind die Szenarien, in denen Deep Neural Networks (DNNs) besonders ihre Vorteile haben. Der Nachteil sind jedoch hohe Rechenanforderungen zur Verarbeitung von DNNs. Neben hohen Rechenanforderungen sind unter anderem auch Speicherressourcen und Energie oft sehr hoch. Dieser Antrag stellt einen Ansatz zum erfolgreichen Einsatz von DNNs in Systemen mit stark begrenzten Ressourcen, insbesondere FPGAs, dar, wodurch eine effiziente TinyML-Implementierung ermöglicht wird. Ein Schwerpunkt unserer Untersuchungen liegt auf einer einzigartigen Kombination von Kompressionstechniken wie Pruning und Quantisierung mit neuen approximativen Rechenprinzipien. Insbesondere für FPGAs wollen wir die Möglichkeit von approximativen Rechenwerken untersuchen. Darüber hinaus wollen wir FPGA-spezifische Artefakte wie DSPs und BRAMs nutzen, um äußerst ressourcen- und energieeffiziente Hardwareimplementierungen für DNNs bereitzustellen. Nach unserem besten Wissen stellt dieser Antrag die ersten wichtigen Schritte zur Optimierung des Einsatzes von DNNs auf approximativer und rekonfigurierbarer Hardware dar. Dies beinhaltet die Untersuchung innovativer Mapping- und Design-Space-Exploration-Techniken. Die Kombination von mikroarchitektonischen Besonderheiten mit dem approximativen Rechenparadigma verspricht einen guten Kompromiss zwischen der Qualität der DNN-Ergebnisse und den dafür benötigten Rechenressourcen. Das Ziel ist die Entwicklung einer Co-Search-Methodik zwischen der neuronalen Netzwerkarchitektur, ihrer Optimierung und der Synthese approximierter DNN-Beschleuniger auf FPGAs. Weitere Forschung umfasst die Analyse der DNN-Robustheit und der Energie Trade-offs. Zusammenfassend schlagen wir die ersten Schritte zum erfolgreichen Einsatz von DNN auf stark ressourcenbeschränkten FPGA-Systemen vor, wobei wir approximative Rechenprinzipien nutzen.

• DFG-Verfahren: Sachbeihilfen