OpenGPT-X

Das Ziel des Projekts „OpenGPT-X“ ist die Entwicklung Gaia-X-kompatibler, fortschrittlicher Smart Services auf Basis innovativer Sprachtechnologien. Diese ermöglichen datenbasierte Geschäftslösungen im Gaia-X-Ökosystem unter Verwendung großer KI-Sprachmodelle vom Typ GPT-3 [1]. Grundlage dafür ist das Training dieser Modelle, das derzeit vor allem in den USA erfolgt, unter Verwendung entsprechender leistungsfähiger und skalierbarer Gaia-X-Infrastrukturen und Datenräume. Die daraus resultierenden praktischen Anwendungen werden in den Bereichen Mobilität, Medien und Finanzen/Versicherungen erprobt. Aufgrund der rasch wachsenden Bedeutung und des disruptiven Potenzials großer KI-Sprachmodelle besteht ein dringender Bedarf, die Technologie- und Datenhoheit in Deutschland und Europa sicherzustellen [2].

Gaia-X bietet die ideale Grundlage für die Bereitstellung skalierbarer Rechenressourcen und vernetzter, anwendungsübergreifender Datenräume unter Verwendung von Gaia-X-Federated-Services zur Erstellung großer KI-Sprachmodelle. Das umfangreiche Netzwerk von Projektpartnern gewährleistet die erfolgreiche, europaweit ausgerichtete Nutzung der Projektergebnisse.

Ziele

• Training von GPT-ähnlichen Sprachmodellen unterschiedlicher Größe mit Schwerpunkt auf europäischen Sprachen

Ausblick

• verschiedene Modelle mit 7 Milliarden Parametern, 13B-Modell, 30B-Modell

Publikationen

• Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., Leveling, J., Klug, K., Ebert, J., Doll, N., Buschhoff, J. S., Jain, C., Weber, A. A., Jurkschat, L., Abdelwahab, H., John, C., Suarez, P. O., Ostendorff, M., Weinbach, S., Sifa, R., … Flores-Herr, N. (2023). Tokenizer Choice For LLM Training: Negligible or Crucial?

Team

Leitung

• Dr. Nicolas Flores-Herr, Fraunhofer IAIS (project)
• Dr. René Jäkel (at ScaDS.AI Dresden/Leipzig and ZIH)

Teammitglieder

• Lalith Manjunath
• Klaudia-Doris Thellmann
• Lena Jurkschat

Partner

• Fraunhofer IAIS
• Fraunhofer IIS
• Forschungszentrum Jülich
• Ionos
• AlephAlpha
• Alexander Thamm GmbH
• Control expert GmbH
• WDR
• KI Bundesverband e.V.
• DFKI