Effizientes Deep Learning in großem Maßstab auf SpiNNaker2

Projekttitel: Effizientes Deep Learning in großem Maßstab auf dem neuromorphen Supercomputer SpiNNaker2

Projektdauer: 01.07.2022 – 30.06.2025

Forschungsbereich: Methoden und Hardware für Neuroinspirierte Datenverarbeitung

Die SpiNNcloud ist ein vom Gehirn inspirierter Supercomputer, der auf 5 Millionen stromsparenden ARM-Mikrocontrollern basiert, die asynchron arbeiten und paketbasiert kommunizieren. Er ist der mit Abstand größte vom Gehirn inspirierte Computer weltweit und bietet ein einzigartiges Potenzial für energieeffiziente KI-Verarbeitung in Echtzeit. In diesem Projekt wollen wir skalierbare Deep-Learning-Modelle entwickeln und auf dem SpiNNaker2-Supercomputer implementieren. Neben Standardmodellen wie CNN, ResNet und Transformers werden neuroinspirierte Modelle entwickelt, die beispielsweise strukturelle und zeitliche Sparsität nutzen. Dies erleichtert die Implementierung dieser Modelle auf dem SpiNNaker2-System erheblich und vermeidet durch eine skalierbare, ereignisbasierte Kommunikation Kommunikationsengpässe. Die effizienten Deep-Learning-Modelle werden im Vergleich zu Standard-Hardware für maschinelles Lernen getestet.

Darüber hinaus wird ein nachhaltiger Workflow etabliert, um reproduzierbare und skalierbare Forschung auf der SpiNNcloud für eine breite Nutzergemeinschaft zu gewährleisten.

Ziele

Ziel ist es, modernste Deep-Learning-Modelle auf dem SpiNNcloud-Supercomputer zu entwickeln und zu implementieren, die weniger Energie verbrauchen als herkömmliche KI-Hardware wie NVIDIA-GPUs. Dies soll für verschiedene Architekturen wie konvolutionelle neuronale Netze, rekurrente neuronale Netze und Transformer nachgewiesen werden. Technisch gesehen besteht das Ziel darin, modifizierte DNN-Modelle zu entwickeln, die für die ereignisbasierte SpiNNaker2-Plattform geeignet sind, und einen skalierbaren Software-Stack zur Abbildung dieser DNN-Modelle zu implementieren.

Problemstellung

Das Gehirn verarbeitet Informationen um Größenordnungen effizienter als KI-Modelle auf GPUs. Dennoch bleiben vom Gehirn inspirierte Modelle wie gepulste neuronale Netze in puncto Leistung hinter DNNs zurück. Die Herausforderung besteht darin, Konzepte aus den Neurowissenschaften auf DNNs anzuwenden, um sowohl eine hohe Leistung als auch Energieeffizienz zu erzielen. Eine weitere Herausforderung ist die Quantisierung der Modelle auf 8-Bit-Ganzzahlen für eine effiziente Inferenz mit den SpiNNaker2-DNN-Beschleunigern.

Anwendungsbeispiel

Ereignisbasierte rekurrente neuronale Netze (EGRU) wurden in Zusammenarbeit mit D. Kappel (RUB) und A. Subramoney (RHUL) entwickelt [Subramoney et al. 2023]. EGRU-Modelle wurden auf SpiNNaker2 für die Sprachmodellierung und ereignisbasierte Bildverarbeitung implementiert und verbrauchen dabei 18-mal weniger Energie als eine NVIDIA A100 [Nazeer et al. 2024].

Technologie

Wir nutzen die SpiNNcloud, einen massiv-parallelen, von neuronalen Netzen inspirierten Supercomputer mit hocheffizienten DNN-Beschleunigern für int8-Operationen. Um die Effizienz zu steigern, setzen wir von neuronalen Netzen inspirierte Konzepte wie ereignisbasierte Kommunikation und strukturelle Sparsität ein. Quantisierung nach dem Training und quantisierungsorientiertes Training tragen dazu bei, DNN-Modelle für eine effiziente Inferenz auf SpiNNaker2 vorzubereiten. Für die effiziente Abbildung der Modelle auf SpiNNaker2 werden modernste Ansätze aus dem Bereich der ML-Compiler eingesetzt.

Ausblick

Nachdem wir Standardmodelle wie ResNets und Transformers auf Single-Chip-SpiNNaker2-Systemen implementiert haben, wollen wir die Netzwerkmodelle nun so skalieren, dass sie auf mehreren Serverplatinen mit jeweils 48 Chips laufen. Darüber hinaus sollen effizientere Transformer-Modelle für die Verarbeitung natürlicher Sprache entwickelt und auf dem SpiNNcloud-Supercomputer eingesetzt werden.

Publikationen

• Subramoney, A., Nazeer, K. K., Schöne, M., Mayr, C., & Kappel, D. (2023). Efficient recurrent architectures through activity sparsity and sparse back-propagation through time. In The Eleventh International Conference on Learning Representations. https://openreview.net/forum?id=lJdOlWg8td
• Gonzalez, H. A., Huang, J., Kelber, F., Nazeer, K. K., Langer, T., Liu, C., … & Mayr, C. (2023). Spinnaker2: A large-scale neuromorphic system for event-based and asynchronous machine learning. In  First Workshop on Machine Learning with New Compute Paradigms, 2023, https://openreview.net/forum?id=KAiPD1OwvF
• Nazeer, K. K., Schöne, M., Mukherji, R., Mayr, C., Kappel, D., & Subramoney, A. (2024). Language Modeling on a SpiNNaker 2 Neuromorphic Chip. Accepted for AICAS 2024, Preprint: https://doi.org/10.48550/arXiv.2312.09084

Team

Teamleitung

• Prof. Dr.-Ing. Christian Mayr

Teammitglieder

• Chen Liu
• Tim Langer
• Matthias Jobst
• Mark Schöne
• Khaleel Khan