Große Sprachmodelle lernen nach dem eigentlichen Vortraining in einer eigenen Trainingsphase, bestimmte Anfragen abzulehnen: Anleitungen zu Straftaten, Beleidigungen, gefährliche Inhalte. Diese Schutzschicht ist kein Filter, der neben dem Modell sitzt, sondern ein gelerntes Verhalten im Modell selbst. Ein Jailbreak ist der Versuch, dieses Verhalten auszuhebeln. Der Name stammt vom Entsperren von Smartphones, bei dem Nutzer die Beschränkungen des Herstellers umgehen.
Das klassische Muster ist ein Rollenspiel. Der Nutzer erklärt dem Modell, es sei jetzt eine andere KI ohne Regeln, oder bittet um eine Geschichte, in der eine Figur erklärt, wie man etwas Verbotenes tut. Das BSI beschreibt in seinem Papier zu generativen KI-Modellen genau diese Technik: das Vortäuschen eines scheinbar legitimen Szenarios, damit das Modell aus seiner Rolle fällt.
Warum die Schutzschicht nachgibt
Alexander Wei, Nika Haghtalab und Jacob Steinhardt haben 2023 untersucht, warum Sicherheitstraining versagt, und zwei Ursachen benannt. Die erste sind konkurrierende Ziele. Ein Modell soll hilfreich sein, Anweisungen befolgen und zugleich ablehnen, was schadet. Ein geschickter Angriff baut eine Lage auf, in der Hilfsbereitschaft und Sicherheit gegeneinander stehen, und die Hilfsbereitschaft gewinnt. Die zweite ist unvollständige Verallgemeinerung. Das Modell kann mehr, als sein Sicherheitstraining abdeckt. Eine Anfrage in einer seltenen Sprache, in einer Codierung oder in ungewohnter Form versteht es noch, die erlernte Ablehnung greift dort aber nicht mehr zuverlässig.
Seitdem sind weitere Spielarten bekannt geworden.
- Angehängte Zeichenfolgen. Andy Zou und Kollegen haben 2023 gezeigt, dass sich automatisch Zeichenketten berechnen lassen, die an eine Anfrage angehängt die Ablehnung aushebeln. Für Menschen sehen sie wie Unsinn aus. Sie wurden an offenen Modellen berechnet und wirkten auch bei kommerziellen Diensten. OWASP führt diese Technik als „Adversarial Suffix“.
- Viele Beispiele. Anthropic hat 2024 das Many-Shot Jailbreaking beschrieben: Ein einzelner Prompt enthält Hunderte erfundener Dialoge, in denen ein Assistent schädliche Fragen bereitwillig beantwortet. Je länger das Kontextfenster, desto mehr solcher Beispiele passen hinein, und desto eher folgt das Modell dem Muster.
- Bilder und andere Eingabeformen. Bei Modellen, die Bilder verarbeiten, kann die Anweisung im Bild stecken. OWASP weist darauf hin, dass solche multimodalen Systeme eine größere Angriffsfläche bieten.
Jailbreak und Prompt Injection: wo die Grenze verläuft
Die Begriffe werden oft vermischt, und die Fachwelt zieht die Grenze nicht einheitlich. OWASP bezeichnet Jailbreaking als eine Form der Prompt Injection. Das BSI unterscheidet nach dem Ziel des Angriffs: Sind die Schutzmechanismen im Modell selbst angelegt, etwa durch Feinabstimmung, spricht man von Jailbreak. Geht es um Vorgaben, die über Anweisungen gemacht werden, also etwa um den Systemprompt einer Anwendung, spricht man von Prompt Injection.
Für die Praxis hilft eine dritte Frage: Wer greift an, und wer wird geschädigt?
| Merkmal | Jailbreak | Prompt Injection, besonders indirekt |
|---|---|---|
| Wer greift an | meist der Nutzer selbst | oft ein Dritter, über E-Mail, Dokument oder Webseite |
| Was wird umgangen | trainierte Schutzregeln des Modells | Anweisungen des Betreibers der Anwendung |
| Typischer Schaden | unerwünschte Inhalte, Rufschaden | Datenabfluss, falsche Aktionen im Auftrag ahnungsloser Nutzer |
Beide nutzen dieselbe Schwäche: Ein Sprachmodell kann Anweisungen und Daten nicht sauber trennen. Beide werden darum mit ähnlichen Mitteln eingegrenzt.
Wann ein Jailbreak ein Unternehmen betrifft
Viele Automatisierungen im Mittelstand haben gar keinen offenen Eingang für Fremde. Ein Modell, das Eingangsrechnungen ausliest, bekommt keinen freien Text von Menschen, die es überlisten wollen. Anders liegt es bei allem, was nach außen spricht: dem Chatbot auf der Website, dem Assistenten im Kundenportal, dem Voicebot an der Hotline.
Ein konstruiertes Beispiel: Ein Händler setzt einen Chat-Assistenten für Produktfragen ein. Ein Besucher bringt ihn mit einer Rollenspiel-Anfrage dazu, abfällige Bemerkungen über Kunden zu machen, und veröffentlicht den Verlauf. Technisch ist nichts kaputt, keine Daten sind abgeflossen. Der Schaden liegt im Ruf, und er ist real, weil der Assistent unter dem Namen des Händlers spricht.
Dazu kommt ein Punkt, der oft übersehen wird. Die Schutzschicht des Modells kennt nur die allgemeinen Regeln seines Herstellers, nicht die des eigenen Unternehmens. Dass ein Assistent keine Rabatte zusagen und keine Liefertermine erfinden darf, weiß er nur aus dem Systemprompt, und dieser lässt sich ebenso überreden. Die Abwehr von Jailbreaks und die Durchsetzung eigener Regeln sind deshalb ein und dieselbe Aufgabe.
Was gegen Jailbreaks hilft
Eine Maßnahme, die Jailbreaks sicher verhindert, gibt es nicht. Wirksam ist eine Kombination, bei der das Modell nicht die letzte Verteidigungslinie ist.
Den Zweck eng fassen. Ein Assistent, der nur Fragen zu Bestellungen beantworten soll, sollte Anfragen außerhalb dieses Zwecks erkennen und höflich ablehnen. Je schmaler die Aufgabe, desto leichter fällt Abweichendes auf.
Eingaben vorab prüfen. Anthropic beschreibt in seiner Dokumentation, wie ein kleines, schnelles Modell jede Eingabe einstuft, bevor das Hauptmodell sie sieht. Bei Many-Shot-Angriffen hat das Unternehmen nach eigenen Angaben mit einer solchen vorgeschalteten Einstufung die besten Ergebnisse erzielt. Solche Prüfungen gehören zu den Guardrails.
Ausgaben prüfen, bevor sie jemand sieht. Eine zweite Prüfung der Antwort fängt ab, was durch die erste gerutscht ist. Fachliche Zusagen wie Preise, Fristen oder Rabatte prüft man am besten nicht per Modell, sondern gegen die Daten im System.
Wiederholungstäter bremsen. Wer immer wieder dieselbe Ablehnung auslöst, probiert etwas aus. Anthropic rät, solche Nutzer zu verwarnen, zu drosseln oder auszuschließen.
Rechte knapp halten. Ein Assistent, der nichts auslösen kann außer einer Textantwort, richtet nach einem Jailbreak wenig Schaden an. Je mehr Werkzeuge er hat, desto wichtiger ist das Prinzip der minimalen Rechte. Geheimnisse wie Zugangsdaten gehören ohnehin nie in einen Prompt.
Angreifen, bevor andere es tun. Vor dem Start sollte jemand gezielt versuchen, die Anwendung mit bekannten Mustern zu überlisten. OWASP nennt solche gegnerischen Tests als eigene Maßnahme. Im Betrieb zeigt das Monitoring, welche Angriffe tatsächlich kommen.
Wo die Abwehr ihre Grenzen hat
Jailbreaks und Abwehr entwickeln sich gegeneinander. Ein neues Modell schließt bekannte Lücken, ein neuer Angriff findet andere. Zu strenge Filter haben zudem ihren eigenen Preis: Ein Assistent, der harmlose Fragen abweist, weil sie einem Angriffsmuster ähneln, verärgert genau die Kunden, für die er gebaut wurde. Die richtige Einstellung findet man nur, wenn man mit echten und präparierten Anfragen misst, wie oft die Schutzmaßnahmen zu Recht und wie oft zu Unrecht eingreifen. Realistisch ist das Ziel, einen Jailbreak teuer, selten und folgenarm zu machen. Ganz ausschließen lässt er sich nicht.
Quellen
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025
- LLM01:2025 Prompt Injection, OWASP Gen AI Security Project, 2025
- Jailbroken: How Does LLM Safety Training Fail?, Alexander Wei, Nika Haghtalab, Jacob Steinhardt, arXiv, 2023
- Universal and Transferable Adversarial Attacks on Aligned Language Models, Andy Zou u. a., arXiv, 2023
- Many-shot jailbreaking, Anthropic, 2024
- Mitigate jailbreaks and prompt injections, Anthropic, Claude Developer Platform
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

