Datensätze und Modelle

Im Rahmen unseres Engagements für Open Data, das über die Bereitstellung von Infrastruktur für den Austausch von Daten und Modellen hinausgeht, haben wir auch mehrere groß angelegte Datensätze veröffentlicht, darunter:

• Das Archive Query Log (AQL), ein umfassendes Suchprotokoll, das in den letzten 25 Jahren im Internet Archive sammelte. Es umfasst 357 Millionen Suchanfragen, 306 Millionen Suchergebnisseiten und 2,6 Milliarden Suchergebnisse von 550 Suchanbietern und ist damit das bislang größte öffentlich zugängliche Suchprotokoll.
• Der Webis-STEREO-21 Datensatz, die größte Sammlung wissenschaftlicher Textwiederverwendungen in Open-Access-Publikationen. Sie umfasst mehr als 91 Millionen Fälle von wiederverwendeten Textpassagen aus 4,2 Millionen einzigartigen Open-Access-Publikationen und deckt ein breites Spektrum wissenschaftlicher Disziplinen und Arten der Wiederverwendung ab. Darüber hinaus enthält sie umfassende Metadaten, um alles in einen Kontext zu setzen.

Wir haben außerdem mehrere Codebasen im Zusammenhang mit Modelltraining und Informationsabruf als Open Source veröffentlicht, darunter:

• https://github.com/hscells/pybool_ir – Tool zum Erstellen von Demos zur Informationsgewinnung mit Soft-Boolean-Suchoperatoren
• https://github.com/webis-de/small-text – a library for state-of-the-art active learning for text classification, featuring several pre-implemented query, initialization, and stopping strategies

Team

• Harrisen Scells
• Christopher Schröder
• Lukas Gienapp
• Prof. Dr. Martin Potthast (ScaDS.AI)