Zum Inhalt springen

Integration und Betrieb

Monitoring von KI-Systemen

Monitoring von KI-Systemen ist die laufende Beobachtung eines KI-gestützten Ablaufs im Echtbetrieb: nicht nur, ob er technisch läuft, sondern auch, ob seine Ergebnisse noch so gut sind wie bei der Einführung, was er kostet und ob sich Eingaben oder Modell unbemerkt verändert haben.

Auch: KI-Monitoring, AI Monitoring, Observability, LLM-Monitoring, Beobachtung nach dem Inverkehrbringen

Klassisches IT-Monitoring beantwortet eine einfache Frage: Läuft es? Der Server antwortet, die Datenbank ist erreichbar, der nächtliche Abgleich ist durchgelaufen. Bei einem KI-gestützten Ablauf reicht das nicht. Ein Sprachmodell kann zuverlässig antworten, schnell und ohne einen einzigen Fehlercode, und dabei Rechnungen falschen Kostenstellen zuordnen oder Kundenanfragen falsch einsortieren. Technisch ist alles grün. Fachlich läuft etwas schief, und niemand merkt es, bis es teuer wird.

Monitoring von KI-Systemen schließt diese Lücke. Es beobachtet neben dem Betrieb auch die Qualität der Ergebnisse, und zwar fortlaufend, nicht nur bei der Einführung.

Warum gute Testergebnisse nicht reichen

Vor dem Start wird ein KI-System mit Testfällen geprüft, das ist die Evaluation. Das amerikanische Normungsinstitut NIST hält in seinem AI Risk Management Framework aber ausdrücklich fest, dass Risiken, die man im Labor oder in einer kontrollierten Umgebung misst, von denen im realen Betrieb abweichen können. Dafür gibt es mehrere Gründe.

Die Eingaben ändern sich. Ein Lieferant stellt sein Rechnungslayout um, ein neues Produkt erzeugt Anfragen, die im Testdatensatz nicht vorkamen, Kunden schreiben im Sommer anders als im Winter. Das NIST-Rahmenwerk nennt diese Verschiebung in Daten oder Zusammenhängen als Grund, warum KI-Systeme häufiger Wartung brauchen als herkömmliche Software.

Das Modell ändert sich. Wer ein Sprachmodell über die Schnittstelle eines Anbieters nutzt, bekommt neue Modellversionen, und alte werden irgendwann abgeschaltet. Jeder Wechsel kann das Verhalten verändern, auch bei unverändertem Prompt.

Der Ablauf ändert sich. Jemand passt einen Prompt an, eine Regel wird ergänzt, ein angebundenes System liefert ein Feld plötzlich in anderem Format. Jede dieser Änderungen ist klein, zusammen verschieben sie das Verhalten.

Was man beobachten sollte

Eine sinnvolle Beobachtung hat mehrere Ebenen, und nicht jede braucht ein eigenes Werkzeug.

Ebene Typische Kennzahlen Woran man ein Problem erkennt
Betrieb Verfügbarkeit, Antwortzeit, Fehlerrate, Häufigkeit von Fallbacks Zeitüberschreitungen, Umschalten auf Ersatzwege
Kosten verbrauchte Tokens, Kosten je Vorgang Kosten je Vorgang steigen ohne erkennbaren Grund
Qualität Anteil der Klärfälle, Korrekturen durch Menschen, Stichprobenbewertung mehr Korrekturen, mehr Ausnahmen
Sicherheit ausgelöste Schutzregeln, auffällige Eingaben gehäufte Versuche, Anweisungen einzuschleusen

Microsoft beschreibt für seine KI-Plattform ein ähnliches Bild: Produktionsmonitoring umfasst dort Betriebskennzahlen wie Tokenverbrauch, Antwortzeit und Fehlerrate, eine fortlaufende Qualitätsbewertung von Stichproben aus dem Echtbetrieb und regelmäßige Läufe mit Testdatensätzen, um schleichende Veränderungen zu erkennen.

Die wertvollste Kennzahl in Geschäftsprozessen ist meist die unspektakulärste: wie oft Menschen das Ergebnis korrigieren. Wo eine Sachbearbeiterin eine vorgeschlagene Kontierung ändert oder ein Ticket in eine andere Kategorie verschiebt, entsteht ein kostenloses Qualitätssignal. Wer diese Korrekturen erfasst, sieht Verschlechterungen früher als in jeder anderen Statistik. Voraussetzung ist, dass der Ablauf sie überhaupt festhält und nicht nur das Endergebnis speichert.

Protokolle: nötig und heikel

Ohne Protokolle lässt sich im Nachhinein nicht klären, warum das System an einem bestimmten Tag eine bestimmte Entscheidung getroffen hat. Sinnvoll ist, je Vorgang festzuhalten, welche Eingabe kam, welche Modellversion und welcher Prompt im Einsatz waren, was herauskam und was danach geschah. Daraus wird ein Audit-Trail.

Dieselben Protokolle enthalten allerdings oft vollständige Kundenanfragen, Rechnungen oder Personaldaten. Sie unterliegen damit dem Datenschutz wie jede andere Datensammlung: mit festgelegter Speicherdauer, begrenztem Zugriff und klarem Zweck. Bei externen Werkzeugen zur Beobachtung kommt hinzu, dass die Daten dorthin fließen. Mehr protokollieren ist also nicht automatisch besser, sondern eine Abwägung.

Was die KI-Verordnung verlangt

Die europäische KI-Verordnung enthält Beobachtungspflichten, die sich an Hochrisiko-KI-Systeme richten, also etwa an Systeme für Personalauswahl oder Kreditwürdigkeitsprüfung, nicht an jede Rechnungsverarbeitung. Für Anbieter solcher Systeme verlangt Art. 72 ein dokumentiertes System zur Beobachtung nach dem Inverkehrbringen, das Daten über die Leistung des Systems während seiner gesamten Lebensdauer aktiv und systematisch sammelt und auswertet. Für Betreiber, also Unternehmen, die ein solches System einsetzen, verlangt Art. 26 unter anderem, den Betrieb anhand der Betriebsanleitung zu überwachen und die automatisch erzeugten Protokolle, soweit sie unter ihrer Kontrolle stehen, mindestens sechs Monate aufzubewahren.

Zum Zeitpunkt: Mit dem sogenannten Digital Omnibus zur KI, der am 27. Juli 2026 in Kraft getreten ist, hat die EU die Anwendung der Hochrisiko-Regeln verschoben. Nach Angaben der Europäischen Kommission gelten sie für Systeme nach Anhang III ab dem 2. Dezember 2027, für Hochrisiko-KI in Produkten nach Anhang I ab dem 2. August 2028 (Stand Oktober 2026). Wer heute ein System für einen dieser Bereiche einführt, sollte die Beobachtung trotzdem gleich so anlegen, dass sie den Pflichten später genügt.

Auch außerhalb der Hochrisiko-Bereiche bietet das NIST-Rahmenwerk eine brauchbare Richtschnur. Es verlangt unter anderem, Funktion und Verhalten eines KI-Systems im Produktivbetrieb zu überwachen, und Pläne für die Beobachtung nach dem Einsatz, die Rückmeldungen der Nutzer, Eingriffs- und Abschaltmöglichkeiten, Reaktion auf Vorfälle und Änderungsmanagement einschließen.

Wer hinsieht

Das beste Dashboard nützt nichts, wenn niemand hineinschaut. Monitoring braucht drei Festlegungen, die keine Technik sind:

  • Wer ist für den Ablauf fachlich verantwortlich und bekommt einen regelmäßigen Bericht?
  • Ab welchen Schwellen wird jemand aktiv benachrichtigt, statt dass es nur im Bericht steht?
  • Was passiert dann: Wer entscheidet, ob der Ablauf weiterläuft, auf einen Fallback umgestellt oder angehalten wird?

Die Schwellen ergeben sich aus der Einführung. Wer bei der Evaluation festgehalten hat, wie viele Klärfälle und Korrekturen normal sind, hat einen Vergleichswert. Wer das nicht getan hat, sieht im Betrieb zwar Zahlen, weiß aber nicht, ob sie gut oder schlecht sind.

Quellen

  1. Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, National Institute of Standards and Technology, 2023
  2. Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 26 und Art. 72, Amt für Veröffentlichungen der Europäischen Union, EUR-Lex, 2024
  3. AI Omnibus enters into force, Europäische Kommission, Shaping Europe's digital future, 2026
  4. Observability in Generative AI, Microsoft Learn, Microsoft Foundry

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.