NetPU

Projekttitel: NetPU: Generische, zur Laufzeit rekonfigurierbare Architektur für quantisierte Hardware-Beschleuniger zur Inferenz in neuronalen Netzen

Projektdauer: Januar 2023 – Dezember 2025

Forschungsbereich: Methoden und Hardware für Neuroinspirierte Datenverarbeitung

Die zunehmende Größe der trainierten Netzwerkmodelle in der aktuellen Forschung hat die Entwicklung von Hardware-Beschleunigern für die quantisierte Inferenz am Edge vorangetrieben. In früheren Arbeiten wurden vor allem zwei Architekturen untersucht: 1) Die Processing Element Array (PEA)-Architektur bietet eine generische Inferenz für verschiedene Netzwerke mit einer komplexen Laufzeitumgebung. 2) Die Heterogeneous Streaming Dataflow (HSD)-Architektur implementiert maßgeschneiderte Hardware-Beschleuniger für die jeweiligen trainierten Modelle mit vereinfachter Steuerung der Laufzeitumgebung. Wir haben den Entwurf einer hybriden Architektur namens NetPU untersucht, die zwischen den PEA- und HSD-Architekturen angesiedelt ist, um eine zur Laufzeit rekonfigurierbare, quantisierte generische Netzwerk-Inferenz mit gemischter Genauigkeit zu unterstützen. Diese Architektur implementiert die Inferenzsteuerung als Hardware und vereinfacht die Laufzeitumgebung durch datenstreambasierte Übertragung. Darüber hinaus kann NetPU auf der Grundlage des zur Laufzeit rekonfigurierbaren Mehrpräzisions-Mehrkanal-Multiplikators die parallele Rechenleistung von quantisierten Netzwerken mit niedriger Präzision (<8 Bit) verbessern.

Ziele

Die NetPU-Architektur zielt darauf ab, die generische Inferenz für verschiedene quantisierte Netzwerkmodelle mit gemischter Genauigkeit und deren neu entstehende Hybridvarianten zu unterstützen, darunter MLP, CNN, Transformer, Hybrid-ANN-SNN usw. Basierend auf der rekonfigurierbaren Neuronen-Verarbeitungseinheit und der Netzwerkanalysereinheit mit Schleifenstruktur kann die NetPU-Architektur verschiedene Arten und Größen von Netzwerk-Inferenz unterstützen, indem sie die Konfigurationsdaten per Streaming überträgt, um die Beschleunigerfunktion zur Laufzeit zurückzusetzen, ohne dass das Hardware-Design neu generiert werden muss.

Problemstellung

Angesichts der begrenzten Hardware-Ressourcen für den Entwurf von Beschleunigern für neuronale Netze am Edge muss die NetPU-Architektur einen Kompromiss zwischen der Latenz bei der Inferenz, dem Verbrauch an Hardware-Ressourcen und der generischen Unterstützung verschiedener Netzwerkmodelle finden. Die zentrale Frage dieses Projekts lautet, wie sich Hardware-Designs mit hohem Durchsatz erzielen lassen, indem parallele, pipelinisierte und auf systolischen Arrays basierende Technologien für die quantisierte Laufzeit-Re konfiguration mit gemischter Genauigkeit zur generischen Inferenz von Netzwerken mit mehreren Modellen eingesetzt werden.

Technologie

Die NetPU-Architektur wurde als reines Verilog-Projekt implementiert und auf der aktuellen energiesparenden Ultra96-V2-FPGA-Plattform (Xilinx Zynq UltraScale+ MPSoC ZU3EG A484) evaluiert. Auf der Grundlage der neuesten Forschungsergebnisse zur Modellierung binarisierter und quantisierter neuronaler Netze sowie zum Design von Beschleunigern haben wir in diesem Projekt den Multi-Präzisions-Operator, wiederverwendbare Schleifenstrukturen und den Entwurf generischer nichtlinearer Aktivierungsmodule untersucht.

Ausblick

NetPU zielt darauf ab, eine generische, rekonfigurierbare Beschleunigerarchitektur für verschiedene Netzwerke zu schaffen, indem die Konfigurationsdaten einfach gestreamt werden, um die Funktion und das Verhalten der Hardware zurückzusetzen, ohne dass eine Neuimplementierung für verschiedene Modelle erforderlich ist. Darüber hinaus werden unter Berücksichtigung des integrierten Hardware-Controllers alle Inferenzprozesse und Rekonfigurationsvorgänge über den Datenstrom geplant. Daher lässt sich unsere NetPU-Architektur potenziell für die Cluster-Beschleunigung organisieren. Wir werden außerdem die Integration der aktuellen FPGA-Instanz in das ASIC-Design untersuchen. Darüber hinaus planen wir, die NetPU-Architektur in potenziellen Anwendungsszenarien wie der Verarbeitung von Biobildern zu testen.

Publikationen

• Y. Liu, S. Rai, S. Ullah and A. Kumar, „High-Flexibility Designs of Quantized Runtime Reconfigurable Multi-Precision Multipliers,“ in IEEE Embedded Systems Letters, vol. 15, no. 4, pp. 194-197, Dec. 2023, doi: 10.1109/LES.2023.3298736.
• Y. Liu, S. Rai, S. Ullah and A. Kumar, „NetPU-M: a Generic Reconfigurable Neural Network Accelerator Architecture for MLPs,“ 2023 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW), St. Petersburg, FL, USA, 2023, pp. 85-92, doi: 10.1109/IPDPSW59300.2023.00026.
• Y. Liu, S. Rai, S. Ullah and A. Kumar, „NetPU: Prototyping a Generic Reconfigurable Neural Network Accelerator Architecture,“ 2022 International Conference on Field-Programmable Technology (ICFPT), Hong Kong, 2022, pp. 1-1, doi: 10.1109/ICFPT56656.2022.9974206.

Team

Leitung

• Prof. Dr. Akash Kumar

Teammitglieder

• Yuhao Liu