Zum Inhalt springen

Integration und Betrieb

Evaluation von KI-Systemen

Evaluation von KI-Systemen ist die systematische Prüfung, wie gut ein KI-gestützter Ablauf eine bestimmte Aufgabe erledigt: mit einem festen Satz realistischer Testfälle, vorher vereinbarten Kriterien und einer Bewertung, die sich bei jeder Änderung wiederholen lässt.

Auch: Evals, KI-Evaluierung, Modellbewertung, LLM-as-a-Judge

Die meisten KI-Projekte werden zunächst nach Eindruck beurteilt. Jemand probiert fünf Beispiele aus, die Antworten wirken gut, und das System gilt als einsatzbereit. Ein paar Wochen später fallen die Fälle auf, die in diesen fünf Beispielen nicht vorkamen. OpenAI nennt dieses Vorgehen in seinen Empfehlungen zur Evaluation ausdrücklich als Fehlermuster: „vibe-based evals“, Bewertungen nach Gefühl statt nach Messung.

Eine Evaluation ersetzt den Eindruck durch eine Messung. Man legt eine Sammlung von Testfällen an, für die bekannt ist, was herauskommen soll, lässt das System sie bearbeiten und vergleicht. Das Ergebnis ist eine Zahl oder eine Handvoll Zahlen, die man vor einer Entscheidung auf den Tisch legen und nach jeder Änderung neu ermitteln kann.

Warum öffentliche Ranglisten nicht helfen

Anbieter veröffentlichen für ihre Sprachmodelle Ergebnisse in standardisierten Tests, etwa zu Mathematik, Programmieren oder Allgemeinwissen. Für die Frage, ob ein Modell die Eingangsrechnungen eines bestimmten Unternehmens richtig kontiert, sagen sie wenig. Anthropic empfiehlt in seiner Dokumentation, Evaluationen aufgabenspezifisch zu gestalten, also so, dass sie die tatsächliche Verteilung der Aufgaben im Einsatz widerspiegeln, ausdrücklich einschließlich der Randfälle. Auch das NIST-Rahmenwerk verlangt, die Leistung eines KI-Systems unter Bedingungen zu messen, die denen des späteren Einsatzes ähneln.

Für ein Unternehmen heißt das: Die wichtigste Evaluation ist die eigene, mit eigenen Daten.

Wie ein brauchbarer Testsatz entsteht

Echte Fälle sammeln. Am besten eignen sich Vorgänge aus dem Bestand: Rechnungen der letzten Monate, Tickets, E-Mails, Verträge, möglichst in der Mischung, in der sie tatsächlich vorkommen. Erfundene Beispiele fallen meist zu sauber aus.

Die richtige Antwort festhalten. Für jeden Fall wird notiert, was herauskommen soll: die richtige Kostenstelle, die richtige Kategorie, die Felder mit ihren Werten. Diese Arbeit macht die Fachabteilung, nicht die IT, und sie ist mühsamer, als man denkt. Oft zeigt sich dabei, dass zwei erfahrene Kolleginnen denselben Fall unterschiedlich entscheiden würden. Das ist kein Nebenbefund, sondern eine wichtige Erkenntnis: Wo Menschen sich uneinig sind, kann man von einer Maschine keine Eindeutigkeit erwarten.

Randfälle gezielt aufnehmen. Die schwierigen Fälle machen einen kleinen Teil des Alltags und einen großen Teil des Ärgers aus. Anthropic nennt als Beispiele für Randfälle unter anderem Ironie und gemischte Stimmungen bei der Stimmungsanalyse, Tippfehler und ausufernde Fragen bei einem FAQ-Bot. Für eine Rechnungsverarbeitung wären es Gutschriften, Sammelrechnungen, schlechte Scans, fremde Sprachen.

Den Testsatz festschreiben. Ein Testsatz, der sich ständig ändert, erlaubt keinen Vergleich. Man erweitert ihn bewusst, versioniert ihn und hält die Testfälle getrennt von den Beispielen, die im Prompt stehen. Sonst misst man nur, ob das System seine eigenen Beispiele wiedererkennt.

Wie bewertet wird

Verfahren Geeignet für Grenze
automatischer Vergleich mit der Sollantwort Felder, Kategorien, Ja/Nein-Entscheidungen versagt bei frei formuliertem Text
Bewertung durch Menschen Ton, Vollständigkeit, fachliche Richtigkeit von Texten langsam, teuer, nicht beliebig wiederholbar
Bewertung durch ein Sprachmodell große Mengen frei formulierter Antworten hat eigene Verzerrungen, braucht Abgleich mit Menschen

Wo immer möglich, sollte die Aufgabe so gestellt sein, dass sich das Ergebnis automatisch prüfen lässt. Anthropic rät dazu, mehr Testfälle mit automatischer Bewertung wenigen handbewerteten vorzuziehen.

Die Bewertung durch ein zweites Sprachmodell („LLM-as-a-Judge“) ist verbreitet und praktisch, aber kein neutraler Prüfer. Eine viel zitierte Untersuchung von Zheng und Kollegen aus dem Jahr 2023 fand, dass starke Modelle in ihren Tests in über 80 Prozent der Fälle mit menschlichen Präferenzen übereinstimmten, beschrieb aber zugleich systematische Verzerrungen: eine Bevorzugung je nach Reihenfolge der Antworten, eine Vorliebe für längere Antworten und eine Neigung, Antworten zu bevorzugen, die dem eigenen Stil ähneln. OpenAI empfiehlt deshalb, ein solches Bewertungsmodell erst dann großflächig einzusetzen, wenn es nachweislich mit menschlichen Bewertungen übereinstimmt.

Mehr als eine Zahl

Eine einzelne Trefferquote verdeckt oft das Entscheidende. Anthropic weist darauf hin, dass die meisten Anwendungen eine Bewertung entlang mehrerer Kriterien brauchen. Für Geschäftsprozesse sind das typischerweise:

  • Richtigkeit, getrennt nach Feldern oder Kategorien. Eine hohe Gesamtquote kann eine schlechte Erkennung ausgerechnet beim Rechnungsbetrag verbergen.
  • Schwere der Fehler. Ein falsch erkanntes Lieferdatum ist ärgerlich, eine falsche Bankverbindung gefährlich.
  • Selbsteinschätzung. Erkennt das System, wann es unsicher ist, und gibt diese Fälle ab, statt zu raten? Ein System, das jeden fünften Fall zur Prüfung vorlegt und den Rest zuverlässig erledigt, ist oft wertvoller als eines, das alles bearbeitet und unbemerkt danebenliegt. Zu solchen Fehlern gehört auch die Halluzination.
  • Kosten und Antwortzeit je Vorgang.

Sinnvoll ist außerdem ein Vergleichswert: Wie gut erledigen Menschen dieselbe Aufgabe heute? Das NIST-Rahmenwerk weist darauf hin, dass sich ein System, das menschliche Tätigkeit ergänzen oder ersetzen soll, nur mit einer menschlichen Ausgangsbasis sinnvoll bewerten lässt. Ohne sie ist eine Zahl wie „92 Prozent richtig“ nicht einzuordnen.

Wann man evaluiert

Nicht einmal, sondern bei jeder Änderung. OpenAI empfiehlt, früh und oft zu evaluieren und automatische Tests bei jeder Änderung am System laufen zu lassen. Jeder geänderte Prompt, jedes neue Modell, jede neue Regel kann Fälle verbessern und andere verschlechtern. Mit einem festen Testsatz sieht man beides, bevor es in den Echtbetrieb geht. Das gilt besonders für ein Ersatzmodell, das als Fallback bereitsteht.

Im laufenden Betrieb setzt sich die Evaluation als Monitoring fort, mit Stichproben aus echten Vorgängen. Am Anfang aber steht sie als Entscheidungsgrundlage, etwa am Ende eines Proof of Concept: Erst die Messung an eigenen Daten zeigt, ob sich der nächste Schritt lohnt. Fragen an einen Anbieter, die sich daraus ergeben: Mit welchen Daten wurde getestet? Wie viele Fälle waren es? Wie wurden Fehler gewichtet? Und lassen sich die Tests wiederholen, wenn das Modell gewechselt wird?

Quellen

  1. Define success criteria and build evaluations, Anthropic, Claude Developer Platform
  2. Evaluation best practices, OpenAI API Docs
  3. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, Lianmin Zheng u. a., arXiv, 2023
  4. Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, National Institute of Standards and Technology, 2023

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.