Zum Inhalt springen

KI-Grundlagen

Halluzination

Eine Halluzination ist eine Ausgabe eines KI-Modells, die plausibel klingt, aber sachlich falsch ist oder sich durch die vorliegenden Quellen nicht belegen lässt, etwa eine erfundene Zahl, eine nicht existierende Vorschrift oder ein Zitat, das nie gefallen ist.

Auch: Halluzinieren, Konfabulation, hallucination

Das BSI beschreibt das Phänomen nüchtern: Viele Modelle erfinden bei der Erzeugung ihrer Ausgaben Inhalte, die weder Teil der Eingabe noch der Trainingsdaten waren. Im Fachjargon heißt das Halluzinieren. Der Begriff ist schief, weil ein Modell nichts wahrnimmt, das nicht da ist. Er hat sich trotzdem durchgesetzt, auch im Gabler Wirtschaftslexikon. Gemeint ist eine Aussage, die überzeugend formuliert und falsch ist.

Das eigentliche Problem ist nicht der Fehler selbst, denn auch Menschen machen Fehler. Es ist die Form. Das BSI hebt hervor, dass halluzinierte Ausgaben meist glaubhaft erscheinen, besonders dann, wenn sie auf wissenschaftliche Veröffentlichungen oder andere Quellen verweisen, die selbst erfunden sein können. Eine erfundene Antwort klingt genauso sicher wie eine richtige.

Warum Sprachmodelle erfinden

Ein Sprachmodell erzeugt Text, indem es fortlaufend eine wahrscheinliche Fortsetzung berechnet. Es hat keinen eingebauten Abgleich mit der Wirklichkeit und kein Gespür dafür, wo sein Wissen endet. Fragt man nach etwas, das im Training selten oder gar nicht vorkam, erzeugt es trotzdem eine Antwort, die zum Muster passt: eine Rechtsnorm mit plausibler Paragrafennummer, eine Artikelnummer im richtigen Format, ein Ansprechpartner mit typischem Namen.

Eine Arbeit aus dem Jahr 2025, an der Forscher von OpenAI beteiligt waren, erklärt, warum sich das so hartnäckig hält. Kalai und Kollegen argumentieren, dass Training und Bewertung von Sprachmodellen das Raten belohnen. In den gängigen Leistungstests bringt eine geratene Antwort mitunter Punkte, ein ehrliches „weiß ich nicht“ dagegen nie. Ein Modell, das auf gute Testergebnisse optimiert wird, lernt also, im Zweifel lieber etwas zu behaupten. Halluzinationen sind nach dieser Lesart kein rätselhafter Defekt, sondern eine vorhersehbare Folge der Anreize.

Zwei Arten, die man unterscheiden sollte

Die Forschung trennt grob zwei Formen. Ji und andere unterscheiden in ihrem Überblick intrinsische Halluzinationen, bei denen die Ausgabe der vorgelegten Quelle widerspricht, von extrinsischen, bei denen die Ausgabe etwas hinzufügt, das sich aus der Quelle nicht prüfen lässt. Für Unternehmen ist diese Unterscheidung praktisch:

  • Widerspruch zur Quelle. Das Modell fasst einen Vertrag zusammen und nennt eine Kündigungsfrist von drei Monaten, obwohl im Vertrag sechs stehen. Dieser Fehler lässt sich finden, weil die Quelle vorliegt.
  • Ergänzung ohne Quelle. Das Modell beantwortet eine Kundenfrage und fügt eine Lieferzusage hinzu, die in keinem Dokument steht. Dieser Fehler ist tückischer, weil es nichts gibt, womit man ihn vergleichen könnte.

Was nicht hilft und was hilft

Ein verbreitetes Missverständnis betrifft die Temperatur. Eine niedrige Temperatur macht Antworten gleichförmiger, aber nicht wahrer. Ein Modell, das eine Angabe nicht kennt, kann sie auch bei niedrigster Einstellung erfinden, dann eben jedes Mal ähnlich. Ebenso wenig hilft die Anweisung, „nur korrekte Angaben“ zu machen. Das Modell weiß nicht, welche seiner Angaben korrekt sind.

Wirksam sind Maßnahmen, die dem Modell die nötigen Fakten geben und seine Aussagen überprüfbar machen:

  • Quellen mitliefern. Das BSI nennt Retrieval Augmented Generation als verbreitete Gegenmaßnahme: Passende Textstellen aus eigenen Dokumenten werden vorab gesucht und mit der Frage übergeben. Wird angezeigt, auf welchen Auszügen eine Antwort beruht, lassen sich die Folgen von Halluzinationen nach Einschätzung des BSI mildern.
  • Nichtwissen erlauben. Anthropic empfiehlt, dem Modell ausdrücklich zu gestatten, Unsicherheit zuzugeben, und hält das für eine einfache Maßnahme, die falsche Angaben deutlich verringern kann.
  • Wörtlich zitieren lassen. Bei langen Dokumenten soll das Modell zuerst die einschlägigen Stellen wörtlich herausziehen und erst dann darauf aufbauen. Aussagen ohne belegendes Zitat werden gestrichen.
  • Auf eigenes Wissen verzichten lassen. Die Anweisung, nur die übergebenen Dokumente zu verwenden, schränkt die extrinsische Form ein.
  • Mehrfach fragen. Weichen mehrere Durchläufe derselben Anfrage voneinander ab, ist das ein Warnzeichen.

Anthropic fügt selbst hinzu, dass diese Techniken Halluzinationen deutlich reduzieren, aber nicht beseitigen. Wichtige Angaben müssen weiterhin geprüft werden.

Wo der Prozess sie abfangen muss

Weil sich Halluzinationen nicht abstellen lassen, gehört ihre Behandlung in die Gestaltung des Prozesses, nicht nur in den Prompt. Die stärkste Sicherung ist ein Abgleich mit Daten, die man schon hat. Ein konstruiertes Beispiel: Ein Modell liest Bestellungen aus E-Mails aus. Jede erkannte Artikelnummer wird gegen den Artikelstamm geprüft, jeder Preis gegen die gültige Preisliste. Eine erfundene Nummer fällt dann sofort auf, statt im Lager anzukommen. Was sich nicht automatisch gegenprüfen lässt, geht an einen Menschen, wie es der Ansatz Human in the Loop vorsieht.

Am riskantesten sind Ausgaben, die ohne Prüfung nach außen gehen: Antworten an Kunden, Angaben in Verträgen, rechtliche Auskünfte. Auch innerhalb des Hauses gibt es Fallen. Das BSI beschreibt, wie Angreifer ausnutzen, dass Sprachmodelle beim Programmieren Namen von Softwarebibliotheken erfinden. Sie veröffentlichen schädlichen Code genau unter solchen Namen und warten, bis jemand der Empfehlung folgt.

Bei der Auswahl eines Modells oder Dienstes empfiehlt das BSI, den Anbieter unter anderem zu fragen, welche Maßnahmen zur Vermeidung oder Verringerung von Halluzinationen ergriffen wurden. Die ehrlichere zweite Frage richtet sich an das eigene Haus: Wie oft halluziniert das Modell bei unseren Fällen? Beantworten lässt sie sich nur mit einer eigenen Evaluation an echten Vorgängen, nicht mit allgemeinen Leistungstests.

Quellen

  1. Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025
  2. Why Language Models Hallucinate, Kalai, Nachum, Vempala, Zhang, arXiv, 2025
  3. Survey of Hallucination in Natural Language Generation, Ji et al., ACM Computing Surveys, arXiv, 2022
  4. Reduce hallucinations, Anthropic, Claude Developer Platform
  5. Generative KI, Gabler Wirtschaftslexikon, Springer Fachmedien

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.