Das World Wide Web ist die größte Sammlung digitaler Kultur und digitalem Wissen. Durch die strategische Erfassung, Analyse und Visualisierung von Webdaten können Business Intelligence entscheidungsrelevante Erkenntnisse gewinnen, digitale Sozialwissenschaften aktuelle gesellschaftliche Trends und soziale Netzwerke untersuchen und digitale Geisteswissenschaften kulturelle und historische Fragen mithilfe digitaler Medien erforschen. Darüber hinaus ist das Web ein Schwerpunkt der Informatikforschung für die Entwicklung von Informationssystemen und KI-Anwendungen.

Ziele

Das Immersive Web Observatory (IWO), eine vom BMBFTR finanzierte Infrastruktur am Digital Bauhaus Lab der Bauhaus-Universität Weimar, zu der wir Zugang haben, nutzt dieses Potenzial, indem es einen umfangreichen Web-Crawl-Korpus mit 8 Petabyte an Daten bereitstellt, der sowohl aktuelle als auch historische Webinhalte aus dem Webarchiv des Internet Archive umfasst. Es handelt sich um eine unschätzbare Datenressource für Projekte aus verschiedenen Disziplinen, insbesondere aus den Bereichen Informationsgewinnung, Data Mining und Visualisierung. Das IWO fördert darüber hinaus den Wissens- und Technologietransfer zu lokalen Unternehmen durch Projektkooperationen, Demonstratoren und Open-Access-Publikationen und unterstützt die Ausbildung von Datenwissenschaftlern, die sich auf Big Data und Cognitive Computing spezialisiert haben.

Weitere Informationen: https://www.uni-weimar.de/fileadmin/user/uni/dezernate/dfo/TOP-Projekte/2017/2017_14_Hagen_IWO-buw-projektbeschreibung.pdf

Team

• Prof. Dr. Matthias Hagen, Friedrich-Schiller-Universität Jena
• Prof. Dr. Martin Potthast
• Prof. Dr. Benno Stein, Bauhaus-Universität Weimar

Ausgewählte Publikationen

• Jan Heinrich Reimer, Sebastian Schmidt, Maik Fröbe, Lukas Gienapp, Harrisen Scells, Benno Stein, Matthias Hagen, and Martin Potthast. The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives. In Hsin-Hsi Chen et al., editors, 46th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2023), pages 2848–2860, July 2023. ACM.
• Theresa Elstner, Johannes Kiesel, Lars Meyer, Max Martius, Sebastian Schmidt, Benno Stein, and Martin Potthast. Visual Web Archive Quality Assessment. In Gianmaria Silvello et al., editors, 26th International Conference on Theory and Practice of Digital Libraries (TPDL 2022), pages 365–371, September 2022. Springer.
• Niklas Deckers and Martin Potthast. WARC-DL: Scalable Web Archive Processing for Deep Learning. In Andreas Wagner, Christian Guetl, Michael Granitzer, and Stefan Voigt, editors, 4th International Symposium on Open Search Technology (OSSYM 2022), October 2022. International Open Search Symposium.