Inbetriebnahme des neuromorphen Supercomputers SpiNNaker2

Projekttitel: Inbetriebnahme des neuromorphen Supercomputers SpiNNaker2 an der Technischen Universität Dresden (TUD)

Pojektdauer: 01.07.2022 – 30.06.2024

Forschungsbereich: Methoden und Hardware für Neuroinspirierte Datenverarbeitung

Der SpiNNaker2-Chip und die Systemarchitektur wurden ab 2013 vom HPSN-Lehrstuhl gemeinsam mit der Universität Manchester (Gruppe von Steve Furber) entwickelt. Nach der erfolgreichen Fertigung und Inbetriebnahme des Chips in den Jahren 2021 und 2022 läuft derzeit die Bereitstellung einer Maschine mit 5 Millionen Kernen an der TU Dresden, die den Namen „SpiNNcloud“ trägt und bis Mitte 2024 fertiggestellt sein soll. Das SpiNNaker2-System nutzt eine enorme Anzahl von ARM-M4f-Mikrocontrollern (153 pro Chip), die in eine schlanke Kommunikationsstruktur mit geringer Latenz eingebettet sind, die von neuronalen Verbindungen im Gehirn inspiriert ist. SpiNNaker2 ist eine allgemein programmierbare Rechenplattform, unterscheidet sich jedoch erheblich von klassischen Architekturen wie CPUs oder GPUs und ermöglicht dadurch stärker verteilte und asynchrone Verarbeitungs- und Simulationsansätze. ScaDS.AI wird den Aufbau der SpiNNcloud durch Unterstützung bei der physischen Konstruktion, durch die Entwicklung von Low-Level-Software für die Inbetriebnahme der Serverplatinen sowie durch die Entwicklung der Firmware für die skalierbare Kommunikation zwischen Chips und Host-Computern unterstützen.

Ziele

Ziel dieses Projekts ist es, die Bereitstellung und Inbetriebnahme des neuromorphen Supercomputers „SpiNNcloud“ an der TU Dresden zu unterstützen. Dazu gehören die Entwicklung von Low-Level-Software, z. B. für die Ressourcenzuweisung, die Überwachung des Systemzustands und des Stromverbrauchs, sowie die Unterstützung bei der Montage, dem Test und der Inbetriebnahme von SpiNNaker2 auf Rack-Ebene. Darüber hinaus umfasst das Projekt die Anpassung von High-Level-Software und Firmware aus SpiNNaker1 für die skalierbare Kommunikation zwischen SpiNNaker2-Chips sowie zwischen Chips und Host-Servern.

Problemstellung

Da das SpiNNaker2-System von Grund auf neu entwickelt wird (d. h. vom Chip aufwärts), steht keine der üblichen Konstruktions- und Low-Level-Software-Unterstützung seitens der Anbieter zur Verfügung. Der grundlegende Aufbau von SpiNNaker2 wird durch den „SpiNNcloud“-Zuschuss von EFRE/SMWK gefördert. Für die Integration in Server-Racks und in herkömmliche Rechenserver ist jedoch ein erheblicher Arbeitsaufwand erforderlich. Dazu gehören das Testen und Inbetriebnehmen der Leiterplatten, die physische Montage der Einschübe sowie die Softwareentwicklung für den Baseboard-Management-Controller. Darüber hinaus muss die Software für die Kommunikation zwischen den maßgeschneiderten Chips sowie zwischen den Chips und dem Host vom System der ersten Generation an der Universität Manchester portiert und aktualisiert werden.

Technologie

Zu den für die Bereitstellung der SpiNNcloud erforderlichen Fähigkeiten gehören: Aufbau und Betrieb von Server-Racks; Entwurf, Test und Inbetriebnahme von Leiterplatten; Entwicklung von Embedded-Software für Baseboard-Management-Controller; Entwicklung von Firmware für kundenspezifische Multiprozessor-Chips mit kundenspezifischer Chip-zu-Chip-Kommunikation; Entwicklung von leistungsstarker C++-Software für die UDP-basierte Kommunikation mit SpiNNaker2-Chips.

Ausblick

Die erfolgreiche Inbetriebnahme und erste Einlaufphase der SpiNNcloud Mitte 2024 wird einen Meilenstein für das groß angelegte, vom Gehirn inspirierte Rechnen darstellen. Damit wird Computer zur Verfügung stehen, der in der Lage ist, das menschliche Gehirn in Echtzeit zu simulieren. Außerdem wird dies die Erforschung zahlreicher von der Neurologie inspirierter Algorithmen für energieeffiziente KI-Verarbeitung in Echtzeit ermöglichen. Nach der Inbetriebnahme wird die SpiNNcloud einer größeren Community zur Verfügung gestellt, darunter den ScaDS.AI-Partnern und Wissenschaftseinrichtungen weltweit. Im Rahmen von ScaDS.AI werden zudem Schulungen und Anwender-Workshops organisiert.

Publikationen

• Vogginger, B., Kelber, F., Jobst, M., Yan, Y., Gerhards, P., Weih, M., & Akl, M. py-spinnaker2, November 2023. https://zenodo.org/doi/10.5281/zenodo.10202109
• Gonzalez, H. A., Huang, J., Kelber, F., Nazeer, K. K., Langer, T., Liu, C., … & Mayr, C. (2023). Spinnaker2: A large-scale neuromorphic system for event-based and asynchronous machine learning. In  First Workshop on Machine Learning with New Compute Paradigms, 2023, https://openreview.net/forum?id=KAiPD1OwvF
• Yik, J., Ahmed, S. H., Ahmed, Z., Anderson, B., Andreou, A. G., Bartolozzi, C., …, Mayr, C., …, Vogginger, B., … & Reddi, V. J. (2023). NeuroBench: Advancing neuromorphic computing through collaborative, fair and representative benchmarking. arXiv preprint arXiv:2304.04640. https://doi.org/10.48550/arXiv.2304.04640, submitted to Nature Communications
• Bernhard Vogginger, Amirhossein Rostami, Vaibhav Jain, Sirine Arfa, Andreas Hantsch, Da-vid Kappel, Michael Schäfer, Ulrike Faltings, Hector A. Gonzalez, Chen Liu, Christian Mayr (2024). Neuromorphic hardware for sustainable AI data centers. arXiv preprint ar-Xiv:2402.02521. https://arxiv.org/abs/2402.02521, accepted as Poster for NICE 2024

Team

Teamleitung

Prof. Dr.-Ing. Christian Mayr

Teammitglieder

• Stefan Schiefer
• Marco Stolba
• Andreas Dixius
• Florian Kelber
• Johannes Partzsch
• Bernhard Vogginger
• Matthias Lohrmann