BeReMo

Titel: BeReMo – Benchmark Biochemischer Reasoning Modelle

Projektdauer: 01.01.2026 – 31.12.2026

Forschungsbereich: Bioinformatik/Biowissenschaften

Große Sprachmodelle (LLMs) haben in letzter Zeit die biologische und biotechnologische Forschung revolutioniert. Wissenschaftler:innen können sie in agentenbasierten Rahmenwerken nutzen, um Projekte zu entwerfen, Literatur und Daten zu sichten, modernste Werkzeuge einzusetzen und Ergebnisse auszuwerten. Sie helfen ihnen zudem dabei, Wissen aus verschiedenen Fachgebieten zu verknüpfen, und können wissenschaftliche Entdeckungen beschleunigen. Allerdings müssen sie auch gründlich evaluiert werden, da die Wahl eines bestimmten LLM oder Schlussfolgerungsmodells die Leistung des KI-Agenten maßgeblich beeinflussen kann.

Mit BeReMo wollen wir diese Lücke schließen und einen Maßstab für den strukturierten Vergleich verschiedener LLMs im Kontext eines KI-Agenten in der Biotechnologie schaffen, der vom Start-up AI-Driven Therapeutics GmbH (AT-DT) entwickelt wurde. ScaDS.AI Dresden/Leipzig bringt Fachwissen in den Bereichen KI und Data Science ein und unterstützt die methodische Konzeption von Bewertungsstrategien. Außerdem stellt es Zugang zu einer Hochleistungsrechnerinfrastruktur für groß angelegte Modell-Benchmarks und -Analysen bereit.

Ziele

Das Ziel von BeReMo ist es, große Sprachmodelle (LLMs) hinsichtlich ihrer Leistungsfähigkeit und Eignung im Kontext eines auf Protein-Engineering spezialisierten KI-Agenten umfassend zu analysieren. Dabei sollen die spezifischen Stärken und Schwächen repräsentativer LLMs und Schlussfolgerungsmodelle im Hinblick auf ihre Effizienz und Genauigkeit bewertet werden. Letztendlich kann der Benchmark dazu genutzt werden, Modelle für den kontextabhängigen Einsatz von LLMs auf der Grundlage dieser Daten zu optimieren, was eine robuste, transparente und vertrauenswürdige Kommunikation zwischen KI-Agenten und Wissenschaftlern ermöglicht.

Probleme

KI-Agenten sind leistungsstarke Werkzeuge in der biotechnologischen Forschung, die Wissenschaftler:innen den Zugang zu umfangreichen Fachgebieten ermöglichen. Bislang gibt es jedoch keinen umfassenden Benchmark, der die Auswirkungen verschiedener LLMs auf das Verhalten von Agenten in verschiedenen Themenbereichen, z. B. im Protein-Engineering, bewertet. Da diese den Output und die Kommunikation der Agenten maßgeblich beeinflussen können, müssen sie evaluiert werden. Um diese Lücke zu schließen, zielt dieses Projekt darauf ab, einen Benchmark zu etablieren, der die Leistung verschiedener LLMs in einem vom Start-up AI-DT entwickelten KI-Agenten für das Protein-Engineering (dem „CoScientist“) untersucht.

Technologie

Das Projekt kombiniert große Sprachmodelle (LLMs) und Schlussfolgerungsmodelle mit fachspezifischen Datensätzen und Bewertungs-Pipelines. Das Benchmarking basiert auf anwendungsorientierten Testfällen, Leistungskennzahlen und automatisierten Arbeitsabläufen. Das System integriert agentenbasierte Architekturen, Parameteroptimierung und datengesteuerte Bewertungsmethoden und bewertet Aspekte des Proteindesigns wie Thermostabilität und Affinitätssteigerung von Proteinbindern.

Ausblick

Letztendlich zielt dieses Projekt darauf ab, die leistungsstärksten großen Sprachmodelle (LLMs) und Schlussfolgerungsmodelle für biotechnologische Anwendungen zu ermitteln, um so eine gezielte Auswahl von Modellen entsprechend spezifischer Anwendungsfälle zu ermöglichen. BeReMo wird eine Grundlage für eine standardisierte KI-Bewertung in der Biotechnologie schaffen. Darüber hinaus wird im Rahmen des Projekts eine transparente Plattform für die Bewertung großer Sprachmodelle im Bereich des Protein-Engineering entwickelt.

Team

Projektleitung

Prof. Dr. Jens Meiler

Universität Leipzig

Institut für Wirkstoffentwicklung

Projektmitarbeitende

Johanna Möller

Universität Leipzig

AI-Driven Therapeutics GmbH