GPTKB ist eine groß angelegte Wissensdatenbank für allgemeine Themenbereiche, die vollständig auf Daten basiert, die von einem großen Sprachmodell generiert wurden. Unser Team wurde von dem umfangreichen Wissen inspiriert, über das LLMs verfügen, wie es auch von anderen Forschern wie (Petroni et al., 2019) beobachtet wurde. Wir wollten herausfinden, ob LLMs als kostengünstige Quelle für den Aufbau einer umfassenden Wissensdatenbank genutzt werden können, die ein breites Spektrum an allgemeinen Wissensbereichen abdeckt.

Traditionelle Wissensdatenbanken wie Wikidata oder DBpedia werden durch manuelle Kuratierung oder Extraktion aus strukturierten Quellen aufgebaut. Dieser Prozess ist ressourcenintensiv und begrenzt gleichzeitig den Umfang der Datenbanken. GPTKB wurde hingegen ausschließlich aus einem LLM generiert – und das zu einem Bruchteil der Kosten: Die Ausgaben waren etwa 100-mal geringer als bei früheren Projekten zum Aufbau von Wissensdatenbanken. Die Datenbank enthält über 105 Millionen Tripel zu 2,9 Millionen Entitäten und deckt damit das allgemeine Wissen ab, das in den Vorab-Trainingskorpora des LLM enthalten ist. Dies erfolgt auf eine automatisiertere und skalierbarere Weise als mit herkömmlichen Methoden.

Ein wesentlicher Vorteil ist die Kosten- und Zeiteffizienz. Da LLMs bereits mit riesigen Informationsmengen trainiert sind, geht es bei der Erstellung einer Wissensdatenbank eher darum, das LLM anzuleiten, Wissen systematisch zu extrahieren. Ein weiterer Vorteil dieses Ansatzes besteht darin, dass er neue Einblicke in das „Wissen” oder die Überzeugungen von LLMs bietet. Dieser Bereich hat in letzter Zeit als LLMology an Popularität gewonnen. GPTKB gibt uns Aufschluss über die Art und Weise, wie das LLM Wissen organisiert und verknüpft. Dies ist für die NLP-Forschung von großem Wert. Für das Semantic Web eröffnet es zudem einen neuen Ansatz zur Bewältigung der Herausforderung des Aufbaus breit gefächerter, domänenübergreifender Wissensdatenbanken.

Die Qualität der resultierenden Wissensbasis, insbesondere ihre Genauigkeit, entspricht bei Weitem nicht den Anforderungen nachgelagerter Anwendungsfälle und bestehenden Projekten. Insbesondere generiert das LLM viele falsche Fakten und noch mehr Fakten, die sich überhaupt nicht (online) verifizieren lassen. So behauptet es beispielsweise, dass im Dresdner Zoo afrikanische Elefanten (richtig) und sibirische Tiger (falsch) leben. Für Karl May wird ein Einfluss von Mark Twain behauptet, den wir mit Online-Recherchen weder bestätigen noch widerlegen konnten. Meiner Meinung nach ist noch wesentlich mehr Arbeit erforderlich, um das resultierende Wissen zu filtern und zu konsolidieren.

GPTKB findet Anwendung in der NLP-Forschung, wo es Einblicke in die Wissensorganisation von LLM liefert und als Ressource für die Untersuchung der Wissensgewinnung dieser Modelle dient. In der Semantic-Web-Community könnte es Projekte unterstützen, die umfangreiche Daten aus allgemeinen Bereichen benötigen. GPTKB ist außerdem so konzipiert, dass es für jedermann zugänglich ist: Jeder kann nach Entitäten suchen, Informationen durchsuchen und sogar SPARQL-Abfragen ausführen, um bestimmte Beziehungen zu untersuchen.

Wir sind überrascht, wie viel Wissen (oder Überzeugungen) ein LLM relativ moderater Größe bereits besitzt. GPT-4o-Mini verfügt schätzungsweise über rund 8 Milliarden Parameter, lieferte uns jedoch 105 Millionen Tripel, was 76 Parameter pro Tripel entspricht. Überrascht hat uns auch die thematische Verteilung: Wir haben viele Tripel zu Patenten und historischen Persönlichkeiten erhalten, zu aktuellen Wissenschaftlern hingegen weniger.

Es ist unter gptkb.org öffentlich zugänglich. Benutzer können nach bestimmten Entitäten suchen, Beziehungen anzeigen oder die gesamte Wissensdatenbank im TTL-Format herunterladen. Wir haben auch die Veröffentlichung und den Code für diejenigen verfügbar gemacht, die sich eingehender mit der Forschung befassen und möglicherweise zu zukünftigen Entwicklungen beitragen möchten.