Große Sprachmodelle kommen zunehmend in Forschung und praktischen Anwendungen zum Einsatz, wo sie mit sensiblen Daten, externen Tools und menschlichen Nutzenden interagieren. Trotz ihrer Fähigkeiten ergeben sich dabei neue Herausforderungen in Bezug auf Sicherheit und Datenschutz, darunter Prompt Injection, Datenlecks und die unbeabsichtigte Offenlegung sensibler Informationen. Diese Risiken ergeben sich aus dem grundlegenden Aufbau von großen Sprachmodellen. Sie interpretieren Anweisungen in natürlicher Sprache, verfügen aber über keine zuverlässigen Mechanismen, um vertrauenswürdige von böswilligen Eingaben zu unterscheiden. Infolgedessen ist die Gewährleistung der Widerstandsfähigkeit, Robustheit und Vertrauenswürdigkeit von Systemen, die auf großen Sprachmodellen basieren, zu einer großen Herausforderung geworden. Aus diesem Grund lud ScaDS.AI Dresden/Leipzig am 3. und 4. September 2026 Interessierte zum Workshop „Resiliente KI: Große Sprachmodelle sichern“ in Dresden ein.

Der Workshop bot einen Überblick über die Funktionsweise von großen Sprachmodellen, stellte gängige Angriffsszenarien vor, erörterte Datenschutzrisiken und präsentierte Methoden zum Einbau von Sicherheitsvorkehrungen und Schutzmechanismen bei der Entwicklung von Systemen, die auf großen Sprachmodellen basieren. Mit den 17 Teilnehmenden wurde eine umfassende Diskussion über resiliente KI geführt.

Programm

1. Tag

Der erste Tag des Workshops begann mit einer Einführung durch Prof. Simon Razniewski (Lehrstuhl für wissensbasierte künstliche Intelligenz). Er verdeutlichte die Bedeutung der Sicherheit von großen Sprachmodellen anhand von Vorfällen aus der Praxis und gab zudem einen leicht verständlichen Überblick über die Interna: Tokenisierung, Kontextfenster, Transformer-Architektur, Trainingsphasen (Vortraining, Feinabstimmung, RLHF), die Rolle von Prompts und die Funktionsweise der Generierung. Dr. Himanshu Beniwal fuhr mit einer Präsentation der wichtigsten Angriffskategorien fort: Prompt Injection, Jailbreaking-Techniken, Extraktion von Trainingsdaten, Halluzinationen sowie Supply-Chain-Risiken, wie beispielsweise der Diebstahl von Systemprompts und Model Poisoning.

Gemeinsam mit Dr. Paramita Mirza und Dr. Siavash Ghiasvand griffen die Teilnehmer anschließend einen vorgefertigten Chatbot mittels inszenierter Herausforderungen an, darunter Rollenspiel-Angriffe, Delimiter-Manipulation und indirekte Injektion. Alle Angriffe zielten darauf ab, den versteckten Systemprompt zu extrahieren oder Sicherheitsprüfungen zu umgehen. In der anschließenden Nachbesprechung ergründete die Gruppe, welche Angriffe erfolgreich waren und warum. Zum Abschluss des Tages folgte eine Diskussion darüber, was die Teilnehmenden in der Entwicklung anders machen würden.

2. Tag

Am zweiten Tag zeigte Prof. Hermann Diebel-Fischer (Evangelische Hochschule Dresden) auf, wie große Sprachmodelle sensible Informationen preisgeben, beispielsweise durch das Speichern von Trainingsdaten, das Durchsickern personenbezogener Daten, differentielle Privatsphäre und deren Grenzen, DSGVO-Anforderungen sowie Re-Identifikationsangriffe. Dr. Himanshu Beniwal gab anschließend einen Überblick über verschiedene Abwehrmaßnahmen, darunter Eingabevalidierung, Ausgabefilterung, Alignment-Techniken, „LLM-as-Judge“ und Prompt-Firewalls sowie deren Grenzen.

Anschließend folgte eine Diskussion über die Konzeption sicherer LLM-Systeme. Danach untersuchten Dr. Paramita Mirza und Dr. Siavash Ghiasvand gemeinsam mit den Teilnehmenden, wie sich eine absichtlich anfällige RAG-Pipeline ausnutzen lässt und wie sich dieses Problem durch Zugriffskontrolle und Ausgabefilterung beheben lässt. Den Abschluss bildeten Gruppenpräsentationen der Ergebnisse sowie eine praktische Checkliste für die Evaluierungs- und Qualitätssicherungphase. Der Workshop endete mit weiterführender Literatur und nächsten Schritten.

Ausblick

Der Workshop zu resilienter KI brachte Expert:innen und Anwender:innen zusammen, um zu erörtern, wie große Sprachmodelle sicherer gestaltet werden können. Die gesamte Veranstaltung und insbesondere die Fragerunde führten zu sehr anregenden Diskussionen über reale Szenarien und Probleme. Aufgrund des positiven Feedbacks der Teilnehmenden werden in Zukunft ähnliche Veranstaltungen angeboten. Werfen Sie einen Blick in unseren Veranstaltungskalender, um ähnliche Veranstaltungen nicht zu verpassen.