Methoden zur Modell- und Code-Optimierung für Energieeffizientes Maschinelles Lernen

Projekttitel: Model and Code Optimization Methods for Energy-efficient Machine Learning

Projektdauer: 08/2022 – heute

Forschungsbereich: Software Engineering

Die Optimierung von Machine-Learning-Modellen ist von entscheidender Bedeutung für die Verbesserung der Leistung und Energieeffizienz. Letztere ist nicht nur in IoT-Edge-Geräten wichtig, wo Inferenzaufgaben in ressourcenbeschränkten Umgebungen ausgeführt werden, sondern auch in Rechenzentren, wo das schnelle Wachstum der Größe von KI-Modellen und der Anzahl der Nutzer:innen zu einem Anstieg des Stromverbrauchs geführt hat. Der Energieverbrauch muss daher zu einer primären Optimierungskennzahl bei der Entwicklung von KI-Hardware und -Software der nächsten Generation werden. ML-Modelle bieten ein erhebliches Potenzial zur Reduzierung sowohl des Rechen- als auch des Speicherbedarfs, insbesondere bei der Entwicklung neuartiger Hardware-Beschleuniger. Unser Schwerpunkt liegt auf der Analyse von Machine-Learning-Modellen nach dem Training, Konvertierungstechniken und Code-Optimierungen, die darauf abzielen, die Modellgröße und die Rechenkomplexität zu reduzieren und gleichzeitig die Modellgenauigkeit zu erhalten.

Ziele

Unser Ziel ist es, Quantisierungs-, Pruning- und Bitslicing-Methoden weiterzuentwickeln, um alternative Ausführungsmodelle und Entwurfsmethodiken zu nutzen. Dies wird zu schnelleren und energieeffizienteren Inferenzaufgaben in Machine-Learning-Beschleunigern führen.

Problemstellung

Die effiziente Ausführung von KI-Modellen umfasst sowohl aus algorithmischer als auch aus softwaretechnischer Sicht in der Regel Techniken wie Quantisierung, Pruning, Weight Sharing und maßgeschneiderte Code-Optimierungen für bestimmte Beschleuniger wie GPUs, KI-Beschleuniger wie TPUs, ASICs und Datenflussprozessoren. Bei den derzeitigen Methoden ist häufig ein erneutes Training oder sogar ein Training der Modelle von Grund auf erforderlich, um eine erhebliche Reduzierung der Modellgröße und der Rechenkomplexität zu erreichen.

Praxisbeispiel

Wir haben Techniken kombiniert, die sich hauptsächlich auf die extreme Quantisierung und Sparsifizierung von Modellen konzentrieren und zu multiplikationsfreien Implementierungen gängiger Operatoren in Machine-Learning-Frameworks führen, wie z. B. Ähnlichkeitssuche, Faltungs- und vollständig verbundene Schichten. Auf diese Weise können wir effizientere Implementierungen in Bezug auf Latenz, Energie und Fläche ermöglichen, ohne dabei die Genauigkeit zu beeinträchtigen oder die Trainingszeit zu verlängern.

Technologie

Unser Projekt hat Deep Neural Networks und Hyperdimensional Computing-Modelle durch Post-Training-Methoden und Compiler-Techniken optimiert, darunter Bitslicing, ternäre und binäre Neuformulierung von Modellparametern, verteilungsbewusste Quantisierung, Pruning und Wiederverwendung von Berechnungen. Weitere Details und vorläufige Ergebnisse finden Sie in unseren Publikationen.

Ausblick

Unsere Methoden wurden auf GPUs und High-Level-Simulatoren für neue Hardware-Beschleuniger getestet. In Zukunft werden wir uns insbesondere auf die Optimierung für rekonfigurierbare und domainspezifische Beschleuniger konzentrieren.

Publikationen

• João Paulo C. de Lima, Asif Ali Khan, Hamid Farzaneh, Jeronimo Castrillon, „Full-Stack Optimization for CAM-Only DNN Inference“ (to appear), Proceedings of the 2024 Design, Automation and Test in Europe Conference (DATE), IEEE, pp. 1-6, Mar 2024. arXiv preprint arXiv:2309.06418
• Caio Vieira, Jeronimo Castrillon, Antonio Carlos Schneider Beck, „Hyperdimensional Computing Quantization with Thermometer Codes“, Proceeding: 6th Workshop on Accelerated Machine Learning (AccML), co-located with 19th International Conference on High-Performance and Embedded Architectures and Compilers (HiPEAC), 7pp, Jan 2024.

Team

Teamleitung

Prof. Dr. Jeronimo Castrillon

Teammitglieder

• João Paulo C. de Lima

Partner

• Nathan Laubeuf, Debjyoti Bhattacharjee (Imec, BE)
• Caio Vieira, Antonio Carlos Schneider Beck (UFRGS, BR)