Ein Sprachmodell bekommt seine Aufgabe als Text und seine Arbeitsgrundlage ebenfalls als Text. Es gibt keinen technischen Kanal, der das eine vom anderen trennt. Das BSI bringt es in einer Sicherheitswarnung von 2023 auf den Punkt: Bei großen Sprachmodellen existiert keine klare Trennung zwischen Daten und Anweisungen. Genau diese Lücke nutzt eine Prompt Injection. Wer Text in die Eingabe eines Modells bringen kann, kann versuchen, dem Modell damit neue Befehle zu geben.
Das klingt nach einem Problem für Chatbots im Internet. Wirklich ernst wird es aber dort, wo ein Modell in Geschäftsprozesse eingebaut ist, E-Mails liest, Dokumente auswertet und selbst Aktionen auslösen darf.
Direkt und indirekt: zwei Wege in dieselbe Lücke
Die direkte Variante kommt vom Nutzer selbst. Jemand tippt in einen Kundenchat, das Modell solle alle bisherigen Vorgaben vergessen und stattdessen etwas anderes tun. Das OWASP-Projekt, das die verbreitetste Liste von Sicherheitsrisiken für Sprachmodell-Anwendungen herausgibt, führt Prompt Injection in der Ausgabe 2025 auf Platz eins. Die direkte Form ist lästig, aber begrenzt: Der Angreifer sitzt sichtbar am anderen Ende und kann nur so viel anrichten, wie die Anwendung ihm erlaubt.
Die indirekte Variante ist für Unternehmen das größere Thema. Hier steht die Anweisung in einem Inhalt, den das Modell im Auftrag eines ahnungslosen Nutzers verarbeitet: in einer eingehenden E-Mail, einem PDF-Anhang, einer Webseite oder einem Dokument in der Wissensdatenbank. Forschende um Kai Greshake haben diese Angriffsklasse Anfang 2023 beschrieben. Das BSI nennt als Beispiele Text in Schriftgröße null, versteckte Passagen in Video-Transkripten und Zeichen, die ein Modell liest, ein Mensch aber nicht sieht. Wer das System bedient, merkt davon nichts.
Abzugrenzen ist der Begriff vom Jailbreak. Beim Jailbreak versucht ein Nutzer, die im Modell trainierten Schutzmechanismen zu umgehen, etwa um verbotene Inhalte zu erzeugen. Bei der Prompt Injection geht es darum, die Anweisungen des Betreibers zu überschreiben. In der Praxis überschneidet sich beides, der Schaden entsteht aber an unterschiedlichen Stellen.
Warum ein besserer Systemprompt das Problem nicht löst
Der naheliegende Reflex ist, dem Modell im Systemprompt einzuschärfen, Anweisungen aus Dokumenten zu ignorieren. Das hilft ein wenig und reicht nicht. Das Modell entscheidet statistisch, welcher Text wie zu behandeln ist, und ein geschickt formulierter Angriff kann diese Abwägung kippen. OWASP schreibt offen, es sei unklar, ob es überhaupt narrensichere Methoden gegen Prompt Injection gibt. Das BSI formuliert es ähnlich: Derzeit sei keine zuverlässige und nachhaltig sichere Gegenmaßnahme bekannt, die nicht auch die Funktionalität deutlich einschränkt.
Für die Planung folgt daraus ein Perspektivwechsel. Die Frage ist nicht, wie man jede Injection abfängt, sondern was passiert, wenn eine durchkommt.
Der Schaden hängt an den Rechten, nicht am Modell
Ein Modell, das nur Texte zusammenfasst und das Ergebnis einem Menschen anzeigt, kann durch eine Injection eine falsche Zusammenfassung liefern. Das ist ärgerlich und meist erkennbar. Ein KI-Agent, der E-Mails lesen, Dateien öffnen, Datensätze ändern und Nachrichten verschicken darf, ist ein anderer Fall. Das BSI beschreibt in seinem Papier zu generativen KI-Modellen Angriffe, bei denen über eine manipulierte Quelle Informationen ausgeleitet oder E-Mails aus dem Postfach des Opfers versendet werden, und fügt hinzu: ausreichende Rechte und Handlungsmöglichkeiten vorausgesetzt.
OWASP führt dieses Risiko als eigenen Punkt unter dem Stichwort „Excessive Agency“. Gefährlich wird es besonders, wenn drei Dinge zusammenkommen: Das System liest Inhalte aus nicht vertrauenswürdigen Quellen, es hat Zugriff auf vertrauliche Daten, und es hat einen Weg nach draußen, etwa das Versenden von Nachrichten oder das Aufrufen von Links.
Was in der Praxis hilft
Keine einzelne Maßnahme genügt. Wirksam ist eine Kombination, die das Risiko an mehreren Stellen begrenzt.
Rechte knapp halten. Eine Anwendung auf Basis eines Sprachmodells sollte nur die Zugriffe haben, die ihre Aufgabe erfordert. Das BSI empfiehlt ausdrücklich, Zugriffs- und Ausführungsrechte auf das notwendige Minimum zu beschränken. Ein Assistent, der Rechnungen ausliest, braucht Lesezugriff auf den Posteingang, aber kein Recht zum Versenden. Das ist das Prinzip der minimalen Rechte, angewendet auf eine Maschine.
Werkzeuge eng schneiden. Statt einer allgemeinen Funktion „E-Mail senden“ eine Funktion, die nur an hinterlegte interne Adressen schreibt. Statt freiem Datenbankzugriff eine Schnittstelle, die genau einen Feldtyp ändern kann. Je enger ein Werkzeug, desto weniger kann eine eingeschleuste Anweisung damit anfangen.
Folgenreiche Aktionen freigeben lassen. Zahlungen, Nachrichten an Externe, Löschungen und Änderungen an Stammdaten gehören vor der Ausführung einem Menschen vorgelegt, mit Angabe, welcher Text die Aktion ausgelöst hat. Diese Rolle beschreibt Human in the Loop.
Fremde Inhalte kennzeichnen und prüfen. Eingehende Dokumente und Suchergebnisse aus einer RAG-Anwendung sollten als Daten markiert und vom Auftrag getrennt übergeben werden. Ein- und Ausgabefilter, wie sie unter Guardrails beschrieben sind, fangen bekannte Muster ab. Sie sind eine Schicht, kein Schutzwall.
Ausgaben nicht blind weiterverarbeiten. Wenn ein Modell Text erzeugt, der danach als Befehl, Link oder Datenbankabfrage verwendet wird, muss dieser Schritt dieselbe Prüfung durchlaufen wie jede andere ungeprüfte Eingabe.
Angriffe gezielt testen. Vor dem Echtbetrieb sollte jemand versuchen, das System mit präparierten Dokumenten und E-Mails zu überlisten. OWASP nennt solche gegnerischen Tests ausdrücklich als Maßnahme.
Ein Beispiel aus dem Posteingang
Ein konstruiertes Beispiel: Ein Unternehmen lässt eingehende Lieferantenmails von einem Assistenten vorsortieren. Der Assistent liest jede Mail, ordnet sie einem Vorgang zu und darf, damit es schneller geht, auch Antworten verschicken. Eine präparierte Mail enthält in weißer Schrift auf weißem Grund die Anweisung, die letzten zehn Mails mit dem Wort „Rechnung“ an eine externe Adresse weiterzuleiten. Ob das Modell gehorcht, ist eine Frage der Wahrscheinlichkeit.
Mit anderem Zuschnitt verliert derselbe Angriff seinen Hebel. Der Assistent liest und sortiert, schlägt Antworten aber nur als Entwurf vor. Externe Weiterleitungen sind technisch gar nicht möglich. Jede Aktion wird mit Auslöser protokolliert, sodass sich im Audit-Trail später nachvollziehen lässt, welche Mail welche Reaktion veranlasst hat. Die Injection kann immer noch eine Einordnung verfälschen. Daten abfließen lassen kann sie nicht mehr.
Fragen, die man vor der Einführung stellen sollte
Welche Inhalte aus nicht vertrauenswürdigen Quellen liest das System? Auf welche Daten hat es Zugriff, und könnte es sie nach außen geben? Welche Aktionen kann es ohne Freigabe auslösen, und was wäre der schlimmste Fall, wenn ein Angreifer jede davon steuern könnte? Wer diese drei Fragen für jede Automatisierung beantwortet, hat den größten Teil der Arbeit getan. Der Rest ist sorgfältiges Testen und die Bereitschaft, einem System lieber eine Fähigkeit weniger zu geben.
Quellen
- Indirect Prompt Injections: Intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen (CSW-Nr. 2023-249034-1032), Bundesamt für Sicherheit in der Informationstechnik, 2023
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025
- LLM01:2025 Prompt Injection, OWASP Gen AI Security Project, 2025
- LLM06:2025 Excessive Agency, OWASP Gen AI Security Project, 2025
- Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection, Greshake u. a., arXiv, 2023
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

