Ein Sprachmodell weiß, was in seinen Trainingsdaten stand. Ihre Lieferbedingungen, die Wartungsanleitung Ihrer Maschinen oder die Betriebsvereinbarung zur Arbeitszeit gehören nicht dazu. Fragt man es trotzdem danach, bekommt man eine allgemeine Antwort oder, schlimmer, eine plausibel klingende erfundene. Retrieval Augmented Generation löst das auf naheliegende Weise: Bevor das Modell antwortet, sucht ein System die passenden Stellen aus den eigenen Dokumenten heraus und legt sie dem Modell vor. Das Modell formuliert dann eine Antwort auf Grundlage dieser Stellen.
Der Begriff stammt aus einem Paper von Lewis und Kollegen aus dem Jahr 2020. Sie kombinierten das im Modell gespeicherte Wissen mit einem durchsuchbaren Index von Wikipedia-Texten und nannten als Vorteile, dass sich das Wissen aktualisieren lässt, ohne das Modell neu zu trainieren, und dass sich nachvollziehen lässt, worauf eine Antwort beruht. Im ursprünglichen Ansatz wurden Suche und Modell gemeinsam trainiert. Heute wird der Begriff weiter verwendet, für jede Architektur, die vor der Antwort eine Suche ausführt.
Wie eine Frage durch ein solches System läuft
Die Arbeit beginnt, bevor die erste Frage gestellt wird.
Vorbereitung. Die Dokumente werden eingelesen, in Abschnitte zerlegt und durchsuchbar gemacht. Das Zerlegen heißt Chunking und entscheidet stärker über die Qualität, als man vermuten würde. Für die Suche nach Bedeutung wird jeder Abschnitt in ein Embedding übersetzt, einen Zahlenvektor, und in einer Vektordatenbank abgelegt. Oft kommt ein klassischer Volltextindex dazu.
Suche. Kommt eine Frage, wird sie auf dieselbe Weise übersetzt, und das System sucht die Abschnitte, die ihr am ähnlichsten sind. Gute Systeme kombinieren dabei die Suche nach Bedeutung mit der Suche nach exakten Begriffen (hybride Suche) und sortieren die Treffer in einem zweiten Schritt noch einmal nach Relevanz (Reranking).
Antwort. Die besten Treffer werden zusammen mit der Frage und einer Anweisung an das Modell übergeben, etwa: „Beantworte die Frage nur auf Grundlage der folgenden Auszüge und nenne die Quelle. Steht die Antwort nicht darin, sag das.“ Das Modell formuliert die Antwort, idealerweise mit Verweis auf das Dokument und die Stelle.
Gao und Kollegen unterscheiden in ihrem Überblick von 2023 zwischen einer einfachen Form, die genau diese drei Schritte durchläuft, und weiterentwickelten Formen, die etwa die Frage umformulieren, mehrfach suchen oder Treffer nachbearbeiten.
Warum man nicht einfach alles ins Modell gibt
Moderne Modelle verarbeiten sehr lange Texte. Für kleine Wissensbestände ist das tatsächlich die einfachere Lösung. Anthropic schrieb 2024, dass man eine Wissensbasis unter etwa 200.000 Token (rund 500 Seiten) auch vollständig in die Anfrage geben kann, statt ein RAG-System zu bauen.
Darüber hinaus sprechen drei Gründe für die Suche. Erstens die Größe: Die Dokumentation eines Maschinenbauers oder das Vertragsarchiv eines Händlers passt in kein Kontextfenster. Zweitens die Kosten: Jede Anfrage bezahlt jedes mitgeschickte Token, ob es gebraucht wird oder nicht. Drittens die Aufmerksamkeit: Liu und Kollegen haben 2023 gezeigt, dass Modelle Angaben in der Mitte eines langen Textes schlechter nutzen als solche am Anfang oder Ende.
Abgrenzung zum Nachtrainieren
Wer einem Modell Firmenwissen beibringen will, denkt oft zuerst an Fine-Tuning. Beide Verfahren lösen verschiedene Probleme.
| RAG | Fine-Tuning | |
|---|---|---|
| Was es verändert | was das Modell bei der Antwort vor sich hat | wie das Modell sich verhält |
| Neue Dokumente | sofort nutzbar, sobald sie im Index sind | erst nach erneutem Training |
| Nachweis der Quelle | möglich, die Fundstelle ist bekannt | nicht möglich |
| Zugriffsrechte | lassen sich bei der Suche durchsetzen | nach dem Training nicht mehr trennbar |
| Stark bei | Fakten, die sich ändern und belegt werden müssen | Stil, Format, Fachsprache, wiederkehrende Aufgaben |
Für Fragen an Handbücher, Richtlinien, Produktdaten oder Verträge ist RAG fast immer die passende Wahl.
Wo solche Systeme scheitern
Die Suche findet die richtige Stelle nicht. Dann kann auch das beste Modell nicht richtig antworten. In der Praxis liegen die meisten Fehler hier und nicht beim Modell. Ein häufiger Grund: Ein Abschnitt ist beim Zerlegen aus seinem Zusammenhang gerissen worden und verrät etwa nicht mehr, von welchem Unternehmen oder Zeitraum er spricht (der Eintrag zum Chunking zeigt das an einem Beispiel). Anthropic berichtete 2024 aus eigenen Tests, dass sich der Anteil fehlgeschlagener Suchen um 49 Prozent senken ließ, wenn jeder Abschnitt vor dem Indexieren um einen kurzen erklärenden Kontext ergänzt und Bedeutungs- mit Begriffssuche kombiniert wurde, und um 67 Prozent mit einer zusätzlichen Neusortierung. Das sind Messungen des Herstellers auf dessen Testdaten, aber sie zeigen, wo die Hebel liegen.
Die Dokumente widersprechen sich. Wenn drei Versionen einer Richtlinie im Index liegen, findet die Suche womöglich die älteste. RAG macht die Pflege der Quellen nicht überflüssig, sondern wichtiger.
Berechtigungen gehen verloren. Ein Index, der alle Dokumente enthält, beantwortet auch Fragen nach Gehältern oder Personalakten, wenn niemand die Zugriffsrechte bei der Suche berücksichtigt. Die Suche muss nur Abschnitte liefern, die der fragende Nutzer auch selbst öffnen dürfte.
Das Modell weicht trotzdem ab. RAG verringert erfundene Antworten, beseitigt sie aber nicht. Ein Modell kann Fundstellen falsch zusammenfassen, zwei Stellen vermischen oder eigenes Wissen hinzufügen. Gegen Halluzinationen helfen eine klare Anweisung, im Zweifel „nicht gefunden“ zu antworten, und sichtbare Quellenangaben, die Nutzer prüfen können.
Woran man ein gutes System erkennt
Die Qualität eines RAG-Systems sollte in zwei Teilen gemessen werden: Findet die Suche zu einer Testfrage die richtige Stelle, und antwortet das Modell auf Grundlage dieser Stelle korrekt? Wer nur das Endergebnis betrachtet, weiß im Fehlerfall nicht, wo er ansetzen muss. Fragen an einen Anbieter: Wie wird gemessen, ob die Suche die richtigen Stellen findet? Wie werden Zugriffsrechte durchgesetzt? Wie schnell sind geänderte Dokumente im Index? Und zeigt jede Antwort, aus welchem Dokument sie stammt?
Quellen
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis et al., arXiv (NeurIPS 2020), 2020
- Retrieval-Augmented Generation for Large Language Models: A Survey, Gao et al., arXiv, 2023
- Lost in the Middle: How Language Models Use Long Contexts, Liu et al., arXiv (TACL), 2023
- Introducing Contextual Retrieval, Anthropic, 2024
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

