Ein Sprachmodell erzeugt Text, der wahrscheinlich passt. Es kennt keine Unternehmensregeln, außer denen, die man ihm mitteilt, und es hält sich an diese nicht mit Sicherheit, sondern mit hoher Wahrscheinlichkeit. Für einen Chat, in dem ein Mensch jede Antwort liest, ist das oft genug. Für einen Ablauf, in dem das Modell Rechnungen kontiert, Kunden antwortet oder Datensätze im ERP ändert, nicht. Guardrails sind die Vorkehrungen, die das Verhalten eines solchen Systems in feste Grenzen setzen.
Der Begriff ist bewusst bildhaft: Eine Leitplanke lenkt nicht, sie verhindert nur, dass man von der Straße abkommt. Genauso entscheiden Guardrails nicht, was das System tut, sondern was es keinesfalls tun darf, und greifen dort, wo das Modell danebenliegt.
Drei Stellen, an denen man ansetzt
Bei der Eingabe. Was überhaupt beim Modell ankommt. Dazu gehört, Anfragen außerhalb des Zwecks abzuweisen (ein Rechnungsassistent muss keine Rezepte schreiben), personenbezogene Daten zu entfernen, die das Modell nicht braucht, und Versuche zu erkennen, dem System versteckte Anweisungen unterzuschieben. Solche Angriffe heißen Prompt Injection, und sie stehen in den OWASP Top 10 für LLM-Anwendungen von 2025 an erster Stelle.
Bei der Ausgabe. Was mit dem Ergebnis geschieht, bevor es weitergeht. Die OWASP-Liste führt unzureichende Prüfung der Modellausgabe als eigenes Risiko und empfiehlt, das Modell wie jeden anderen Nutzer zu behandeln und seine Ausgaben zu prüfen, bevor sie an andere Systeme gehen. In Geschäftsprozessen heißt das ganz handfest: Hat die Antwort das erwartete Format? Liegt der Betrag in einem plausiblen Bereich? Existiert die Kostenstelle, die das Modell vorschlägt, überhaupt? Stimmt die IBAN mit der im Lieferantenstamm überein? Eine strukturierte Ausgabe mit festem Schema macht solche Prüfungen erst möglich.
Bei der Handlung. Was das System darf, wenn es nicht nur Text erzeugt, sondern Werkzeuge aufruft. Das ist bei KI-Agenten die wichtigste Ebene. OWASP beschreibt das Risiko als „Excessive Agency“ und nennt drei Ursachen: zu viele Funktionen, zu weitreichende Berechtigungen und zu viel Eigenständigkeit ohne menschliche Bestätigung. Die Gegenmaßnahmen folgen direkt daraus: nur die Werkzeuge freigeben, die der Ablauf braucht, nur mit den nötigen Rechten, nach dem Prinzip der minimalen Rechte, und folgenreiche Handlungen von einem Menschen freigeben lassen.
Weiche und harte Leitplanken
Der wichtigste Unterschied zwischen Guardrails ist nicht, wo sie sitzen, sondern ob sie verlässlich wirken.
| Art | Beispiel | Verlässlichkeit |
|---|---|---|
| Anweisung im Prompt | „Antworte nur zu Fragen über unsere Produkte.“ | wird meist befolgt, aber nicht garantiert |
| Prüfung durch ein zweites Modell | ein Klassifikator bewertet Eingabe oder Ausgabe | gut für Muster, hat eigene Fehlerquote |
| Regel im Code | Betrag über Grenze geht in die Freigabe, Schema muss passen | wirkt immer, ist aber nur so gut wie die Regel |
| technische Berechtigung | der Zugang des Agenten kann keine Stammdaten löschen | wirkt immer, unabhängig vom Modell |
Anweisungen im Prompt sind nützlich, aber eine weiche Grenze. Ein geschickt formulierter Text in einer eingehenden E-Mail kann sie aushebeln. Prüfmodelle sind eine Zwischenstufe: Anthropic beschreibt etwa, wie ein kleines, schnelles Modell Eingaben vorab auf schädliche Inhalte oder eingeschleuste Anweisungen prüft, bevor das Hauptmodell sie sieht. Spezialisierte Klassifikatoren wie das 2023 vorgestellte Llama Guard bewerten Eingaben und Ausgaben anhand einer festen Taxonomie von Risiken. Auch sie können sich irren.
Daraus folgt eine Faustregel: Alles, was auf keinen Fall passieren darf, wird außerhalb des Modells verhindert. Wenn eine Zahlung über einem bestimmten Betrag nie ohne zweite Unterschrift ausgelöst werden soll, gehört diese Regel in den Code des Ablaufs oder in die Berechtigungen des ERP, nicht in den Prompt.
Werkzeuge
Es gibt eigene Bibliotheken für Guardrails. Das von NVIDIA veröffentlichte NeMo Guardrails etwa beschreibt „programmierbare Leitplanken“, die unabhängig vom zugrunde liegenden Modell definiert werden und zum Beispiel verhindern, dass bestimmte Themen besprochen werden, oder einen vorgegebenen Gesprächsablauf erzwingen. Auch die großen Cloudanbieter bieten Inhaltsfilter für ihre Modelle an. Solche Werkzeuge decken vor allem die Eingabe- und Ausgabeebene ab. Die fachlichen Prüfungen, etwa ob ein Lieferant existiert oder ein Betrag zur Bestellung passt, muss man in jedem Fall selbst festlegen, weil nur das eigene Unternehmen seine Regeln kennt.
Was Leitplanken kosten
Guardrails sind nicht umsonst. Jede zusätzliche Prüfung kostet Antwortzeit und bei Prüfmodellen auch Geld. Zu streng eingestellte Filter weisen harmlose Anfragen ab und erzeugen Klärfälle, die niemand braucht. Ein Kundenservice, der jede zweite Frage mit „dazu kann ich nichts sagen“ beantwortet, ist sicher und nutzlos.
Die richtige Einstellung findet man nur durch Messen. Man prüft mit einem festen Satz von Testfällen, darunter bewusst bösartige und bewusst harmlose, wie oft die Leitplanken zu Recht und wie oft zu Unrecht eingreifen. Anthropic rät, das eigene System vor dem Einsatz gezielt mit präparierten Dokumenten und E-Mails anzugreifen, um zu sehen, ob die Schutzmechanismen greifen.
Leitplanken veralten
Ein Satz Guardrails, der beim Start passt, passt nicht für immer. Neue Angriffsmuster tauchen auf, das Modell wird aktualisiert, der Ablauf bekommt neue Werkzeuge. Das NIST-Profil für generative KI empfiehlt, Sicherheits- und Schutzmechanismen regelmäßig zu überprüfen, besonders wenn ein System unter neuen Umständen betrieben wird, und dabei auch die Gründe zu hinterfragen, aus denen es ursprünglich als sicher galt.
Praktisch heißt das: Jedes Eingreifen einer Leitplanke wird protokolliert und ausgewertet. Häufen sich die Eingriffe an einer Stelle, ist das ein Signal, entweder für einen Angriff oder für eine Regel, die nicht mehr zur Wirklichkeit passt. Diese Auswertung gehört zum Monitoring, und sie entscheidet darüber, ob die Leitplanken mit dem System Schritt halten.
Quellen
- OWASP Top 10 for LLM Applications 2025, OWASP Gen AI Security Project, 2025
- LLM06:2025 Excessive Agency, OWASP Gen AI Security Project, 2025
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, National Institute of Standards and Technology, 2024
- NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails, Traian Rebedea u. a., arXiv, 2023
- Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations, Inan et al., arXiv, 2023
- Mitigate jailbreaks and prompt injections, Anthropic, Claude Developer Platform
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

