Eine Suche über zehntausende Handbuchabschnitte muss in Sekundenbruchteilen antworten. Das gelingt nur mit Verfahren, die vereinfachen: Die Stichwortsuche zählt Wörter, die Vektorsuche vergleicht vorab berechnete Zahlenreihen. Beides ist schnell und findet meist die richtige Gegend, aber nicht zuverlässig die beste Stelle. Unter den ersten 50 Treffern ist die gesuchte Antwort oft dabei, nur nicht auf Platz eins.
Reranking setzt genau hier an. Es nimmt diese kleine Vorauswahl und bewertet jeden Kandidaten noch einmal, diesmal gründlich: Ein Modell liest Frage und Textstelle gemeinsam und gibt an, wie gut die Stelle die Frage beantwortet. Danach wird neu sortiert. Weil die teure Bewertung nur für wenige Dutzend Texte anfällt, bleibt die Suche insgesamt schnell.
Warum eine Stufe nicht reicht
Die Vektorsuche, wie sie der Eintrag zur semantischen Suche beschreibt, arbeitet mit einem sogenannten Bi-Encoder. Frage und Dokument werden getrennt voneinander in je einen Vektor übersetzt, die Dokumente schon lange vor der Frage. Das macht die Suche schnell, hat aber einen Preis: Wenn das Dokument übersetzt wird, weiß das Modell nicht, wonach später gefragt wird. Der Vektor muss alles zusammenfassen, was in dem Text steckt.
Ein Cross-Encoder geht anders vor. Er bekommt Frage und Textstelle als ein Paar und liest beide zusammen. Dabei kann er jedes Wort der Frage mit jedem Wort der Stelle in Beziehung setzen. Ob in einem Abschnitt steht, dass ein Verfahren erlaubt ist, oder dass es gerade nicht erlaubt ist, ob es um die Pumpe P-200 oder um ihr Nachfolgemodell geht, solche Feinheiten erkennt er deutlich besser. Die Dokumentation der Bibliothek Sentence Transformers hält fest, dass Cross-Encoder bessere Ergebnisse erzielen als Bi-Encoder, dafür aber keine Vektoren erzeugen, die man vorab speichern könnte. Jedes Paar aus Frage und Text muss zur Laufzeit neu berechnet werden. Über einen ganzen Bestand wäre das viel zu langsam.
Daraus ergibt sich die übliche Arbeitsteilung, die auch Sentence Transformers empfiehlt: Ein schnelles Verfahren holt etwa die besten 100 Kandidaten, der Cross-Encoder sortiert nur diese. In Systemen mit hybrider Suche sitzt das Reranking hinter der Zusammenführung der Stichwort- und der Vektorliste.
Wie groß der Effekt sein kann
Den Durchbruch markiert eine kurze Arbeit von Nogueira und Cho aus dem Jahr 2019. Sie setzten das damals neue Sprachmodell BERT als Reranker für Textstellen ein und übertrafen auf der Testsammlung MS MARCO den bisherigen Bestwert um 27 Prozent (relativ, gemessen an der Platzierung der ersten richtigen Antwort unter den ersten zehn). Seither gehört ein solcher zweiter Schritt zum Standardrepertoire von Suchsystemen.
Was das für einen eigenen Bestand bedeutet, sagt diese Zahl nicht. Der Gewinn hängt davon ab, wie gut die erste Stufe schon ist, wie die Dokumente aussehen und ob das Modell mit deutscher Fachsprache umgehen kann. Er lässt sich nur mit eigenen Testfragen messen.
Drei Arten, neu zu sortieren
| Art | Wie es arbeitet | Zu bedenken |
|---|---|---|
| Eigenes Cross-Encoder-Modell | ein spezialisiertes Modell, selbst betrieben oder als API | Sprache des Modells prüfen, eigene Rechenkapazität nötig |
| Funktion des Suchdienstes | im Suchdienst eingebaut, per Einstellung zuschaltbar | feste Grenzen bei Trefferzahl und Textlänge, nutzungsabhängige Kosten |
| Sprachmodell als Reranker | ein großes Sprachmodell bekommt Frage und Kandidaten und ordnet | am genauesten steuerbar, aber am teuersten und langsamsten |
Wie eine eingebaute Lösung konkret aussieht, zeigt Microsofts Semantic Ranker in Azure AI Search. Er bewertet nach der Dokumentation nur die besten 50 Treffer der ersten Stufe, arbeitet ausschließlich mit Text, kürzt jedes Dokument vorher auf eine Zusammenfassung von höchstens 2.048 Token und vergibt Werte von 0 (irrelevant) bis 4 (beantwortet die Frage vollständig). Microsoft weist darauf hin, dass die Verteilung dieser Werte leicht schwanken kann, auch durch Modellaktualisierungen, und rät, Schwellenwerte darauf nicht zu fein einzustellen. Abgerechnet wird nach Nutzung.
Dass auch allgemeine Sprachmodelle gut sortieren können, haben Sun und Kollegen 2023 gezeigt. Richtig angewiesen, erreichten große Modelle auf Standardtestsammlungen Ergebnisse, die mit eigens trainierten Verfahren mithielten oder sie übertrafen. Für den Betrieb wichtiger ist ein zweiter Befund derselben Arbeit: Die Fähigkeit ließ sich auf ein deutlich kleineres Modell übertragen, das dann günstiger und schneller arbeitet.
Was Reranking nicht leisten kann
Es findet nichts Neues. Ein Reranker sortiert nur, was die erste Stufe geliefert hat. Microsoft schreibt das für seinen Dienst ausdrücklich: Er führt die Suche nicht noch einmal über den ganzen Bestand aus, sondern ordnet das vorhandene Ergebnis neu. Steht die richtige Stelle nicht unter den Kandidaten, hilft auch der beste Reranker nicht. Die erste Stufe muss deshalb vor allem breit finden, die zweite genau sortieren.
Es sieht nur einen Ausschnitt. Reranker haben eine Längengrenze für jedes Paar aus Frage und Text. Was darüber hinausgeht, wird abgeschnitten. Steht die entscheidende Aussage am Ende eines langen Abschnitts, sieht das Modell sie womöglich nicht. Das ist ein Grund mehr, Dokumente sorgfältig zu zerlegen.
Es kostet Zeit. Jeder Kandidat ist eine eigene Berechnung. Bei 50 Kandidaten und einem großen Modell ist das bei einem Chat spürbar, bei einer Hintergrundverarbeitung meist egal. Die Zahl der Kandidaten ist deshalb eine Abwägung zwischen Trefferqualität und Antwortzeit.
Der eigentliche Nutzen in RAG-Systemen
Bei Retrieval Augmented Generation entscheidet die Reihenfolge der Treffer darüber, was das Sprachmodell zu sehen bekommt. Ohne Reranking gibt man oft großzügig 20 oder 30 Abschnitte mit, in der Hoffnung, dass die richtige Stelle dabei ist. Das kostet Token, füllt das Kontextfenster mit Unpassendem und verleitet das Modell dazu, auch die schwachen Treffer zu verwenden. Mit einer verlässlichen Neusortierung genügen wenige, gut passende Abschnitte.
Der Wert des Rerankers lässt sich zusätzlich als Schranke nutzen. Erreicht kein Kandidat eine Mindestbewertung, ist die ehrliche Antwort „Dazu habe ich in den Unterlagen nichts gefunden“, statt einer Antwort aus zweitklassigen Treffern. Wo diese Schwelle liegt, zeigt nur ein Test mit echten Fragen, wie ihn der Eintrag zur Evaluation von KI-Systemen beschreibt.
Vor der Einführung lohnt ein Blick auf den Datenfluss. Ein gehosteter Reranker bekommt bei jeder Anfrage die Frage und die Volltexte der Kandidaten. Liegen in den Dokumenten personenbezogene oder vertrauliche Inhalte, gelten dafür dieselben Regeln wie für jeden anderen Dienstleister, der diese Daten verarbeitet, einschließlich eines Vertrags zur Auftragsverarbeitung.
Quellen
- Passage Re-ranking with BERT, Nogueira und Cho, arXiv, 2019
- Cross-Encoders, Sentence Transformers, Projektdokumentation
- Semantic ranking overview, Microsoft Learn, Azure AI Search, 2026
- Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents, Sun et al., arXiv (EMNLP 2023), 2023
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

