Modell- und Code-Optimierungsmethoden für energieeffizientes Machine Learning

Projekttitel: Modell- und Code-Optimierungsmethoden für energieeffizientes Machine Learning

Projektdauer: August 2022 – Heute

Forschungsbereich: Softwaretechnologie

Die Optimierung von Machine-Learning-Modellen ist von entscheidender Bedeutung, um Leistung und Energieeffizienz zu verbessern. Letztere ist nicht nur bei IoT-Edge-Geräten, wo Inferenzaufgaben in ressourcenbeschränkten Umgebungen eingesetzt werden, sondern auch in Rechenzentren von zentraler Bedeutung. Das schnelle Wachstum der Größe von KI-Modellen und der Anzahl der Nutzer hat den Stromverbrauch in die Höhe getrieben. Der Energieverbrauch muss daher zu einem primären Optimierungsmetri- kum bei der Entwicklung der nächsten Generation von KI-Hardware und -Software werden. Machine-Learning-Modelle bieten erhebliches Potenzial zur Reduzierung sowohl des Rechen- als auch des Speicherbedarfs, insbesondere beim Design neuartiger Hardware-Beschleuniger. Unser Fokus liegt auf der Post-Training-Analyse von Machine-Learning-Modellen, Konversionstechniken und Code-Optimierungen, die darauf abzielen, die Modellgröße und Rechenkomplexität zu reduzieren und gleichzeitig die Modellgenauigkeit beizubehalten.

Ziele

Wir wollen Quantisierungs-, Pruning- und Bitslicing-Methoden weiterentwickeln, um alternative Ausführungsmodelle und Designmethodiken zu nutzen. Dies wird zu schnelleren und energieeffizienteren Inferenzaufgaben in ML-Beschleunigern führen.

Problemstellung

Die effiziente Ausführung von KI-Modellen, sowohl aus algorithmischer als auch aus softwaretechnischer Perspektive, umfasst typischerweise Techniken wie Quantisierung, Pruning, Weight Sharing und maßgeschneiderte Code-Optimierungen für spezifische Beschleuniger wie GPUs, KI-Beschleuniger wie TPUs, ASICs und Dataflow-Prozessoren. Aktuelle Methoden erfordern oft ein erneutes Training oder sogar ein Training von Modellen von Grund auf, um erhebliche Reduktionen der Modellgröße und Rechenkomplexität zu erreichen.

Praktisches Beispiel

Wir haben Techniken kombiniert, die hauptsächlich auf extreme Quantisierung und Sparsifizierung von Modellen fokussiert sind und die zu multiplikationsfreien Implementierungen gängiger Operatoren in Machine-Learning-Frameworks führen, wie etwa Ähnlichkeitssuche, convolutional und fully connected layers. Dadurch können wir effizientere Implementierungen in Bezug auf Latenz, Energie und Fläche ermöglichen, alles ohne Einbußen bei der Genauigkeit oder Verlängerung der Trainingszeit.

Technologie

Unser Projekt hat Deep Neural Networks und Hyperdimensional-Computing-Modelle durch Post-Training-Methoden und Compilertechniken optimiert, wie Bitslicing, ternäre und binäre Umformulierung von Modellparametern, verteilungsbewusste Quantisierung, Pruning und Wiederverwendung von Berechnungen. Für weitere Details und vorläufige Ergebnisse verweisen wir auf unsere Publikationen.

Ausblick

Unsere Methoden wurden auf GPUs und High-Level-Simulatoren für neuartige Hardware-Beschleuniger getestet. Zukünftig werden wir uns besonders auf die Optimierung für rekonfigurierbare und domänenspezifische Beschleuniger konzentrieren.

Publikationen

• João Paulo C. de Lima, Asif Ali Khan, Hamid Farzaneh, Jeronimo Castrillon, „Full-Stack Optimization for CAM-Only DNN Inference“ (to appear), Proceedings of the 2024 Design, Automation and Test in Europe Conference (DATE), IEEE, pp. 1–6, Mar 2024. arXiv preprint arXiv:2309.06418
• Caio Vieira, Jeronimo Castrillon, Antonio Carlos Schneider Beck, „Hyperdimensional Computing Quantization with Thermometer Codes“, Proceeding: 6th Workshop on Accelerated Machine Learning (AccML), co-located with 19th International Conference on High-Performance and Embedded Architectures and Compilers (HiPEAC), 7pp, Jan 2024.

Team

Leitung

• Prof. Dr. Jeronimo Castrillon

Teammitglieder

• Joao Paulo C. de Lima

Partner

• Nathan Laubeuf, Debjyoti Bhattacharjee (Imec, BE)
• Caio Vieira, Antonio Carlos Schneider Beck (UFRGS, BR)