Ein Wartungshandbuch mit 300 Seiten lässt sich nicht als Ganzes sinnvoll durchsuchen. Wer wissen will, welches Drehmoment für die Flanschschrauben gilt, braucht nicht das Handbuch, sondern einen Absatz daraus. Systeme nach dem Muster Retrieval Augmented Generation zerlegen Dokumente deshalb vorab in Abschnitte, übersetzen jeden einzeln in ein Embedding und legen sie in einer Vektordatenbank ab. Dieses Zerlegen heißt Chunking, die Abschnitte heißen Chunks.
Es klingt nach einem technischen Nebenschritt. Tatsächlich bestimmt er, was das System überhaupt finden kann. Eine Information, die beim Zerlegen auseinandergerissen wurde, findet auch die beste Suche nicht mehr vollständig.
Zwei Gründe für das Zerlegen
Der erste Grund ist eine harte Grenze. Embedding-Modelle verarbeiten nur Texte bis zu einer bestimmten Länge. Microsoft nennt in seiner Dokumentation zu Azure AI Search als Beispiel ein verbreitetes Embedding-Modell von OpenAI mit einer Obergrenze von 8.191 Token, nach Microsofts Faustregel rund 6.000 Wörter. Was darüber hinausgeht, wird abgeschnitten.
Der zweite Grund wiegt in der Praxis schwerer. Ein einzelner Vektor fasst die Bedeutung eines Textes zu einem Punkt zusammen. Behandelt ein Text zehn Themen, ist dieser Punkt ein unscharfer Durchschnitt, der zu keinem der zehn Themen richtig passt. Microsoft beschreibt genau diesen Fall: Eine Wiki-Seite mit vielen Unterthemen mag klein genug für das Modell sein und liefert trotzdem bessere Ergebnisse, wenn man sie feiner zerlegt.
Der Zielkonflikt bei der Größe
Zu große Abschnitte enthalten die gesuchte Information, aber verdünnt. Ihr Vektor ähnelt der Frage weniger, weil viel anderes darin steht. Sie belegen außerdem mehr Platz, wenn sie an das Sprachmodell gehen, und kosten entsprechend.
Zu kleine Abschnitte sind präzise, verlieren aber ihren Zusammenhang. Ein einzelner Satz wie „Der Wert ist vor jeder Inbetriebnahme zu prüfen“ ist ohne den vorigen Satz wertlos, weil nicht klar ist, welcher Wert gemeint ist.
Eine allgemeingültige richtige Größe gibt es nicht. Microsoft empfiehlt als Ausgangspunkt für Abschnitte fester Größe 512 Token mit 25 Prozent Überlappung, also 128 Token, die am Anfang des nächsten Abschnitts wiederholt werden. In einem anderen Teil derselben Dokumentation ist von etwa 200 Wörtern mit 10 bis 15 Prozent Überlappung die Rede. Zum Vergleich: Karpukhin und Kollegen haben in ihrer viel zitierten Arbeit von 2020 Wikipedia in Abschnitte von je 100 Wörtern ohne Überlappung zerlegt. Die Spannbreite zeigt, dass es sich um Startwerte handelt, die am eigenen Material geprüft werden müssen.
Die gängigen Verfahren
| Verfahren | Wie es zerlegt | Stärke | Schwäche |
|---|---|---|---|
| Feste Größe | nach einer festen Zahl von Zeichen oder Token, meist mit Überlappung | einfach, vorhersehbar | schneidet mitten durch Sätze, Tabellen und Gedanken |
| Nach Struktur | an Überschriften, Absätzen oder Satzenden | folgt der Gliederung des Dokuments | Abschnitte werden sehr unterschiedlich lang |
| Nach Bedeutung | dort, wo das Thema wechselt | inhaltlich geschlossene Einheiten | aufwendiger, braucht selbst ein Modell |
| Kombiniert | etwa nach Struktur, zu lange Teile zusätzlich nach Größe | meist das beste Ergebnis | mehr Abstimmung nötig |
Die Überlappung soll verhindern, dass eine Aussage genau an der Schnittkante verloren geht. Sie hat ihren Preis: Derselbe Text liegt mehrfach im Index, und eine Suche kann zwei fast gleiche Abschnitte zurückgeben.
Was beim Zerlegen verloren geht
Der größte Verlust ist der Zusammenhang. Anthropic zeigt das an einem Satz aus einem Geschäftsbericht: „Der Umsatz des Unternehmens stieg gegenüber dem Vorquartal um 3 Prozent.“ Als einzelner Abschnitt verrät er weder, welches Unternehmen, noch welches Quartal gemeint ist. Eine Frage nach dem Umsatzwachstum eines bestimmten Unternehmens findet ihn deshalb schlecht. Anthropic schlägt vor, jedem Abschnitt vor dem Indexieren einen kurzen, automatisch erzeugten Satz voranzustellen, der ihn im Dokument verortet. Microsoft beschreibt eine einfachere Variante desselben Gedankens: den Dokumenttitel an Abschnitte aus der Mitte eines Dokuments anzuhängen.
Weitere typische Verluste:
- Tabellen, die zeilenweise zerschnitten werden, sodass Werte von ihren Spaltenüberschriften getrennt sind
- Aufzählungen, bei denen der einleitende Satz in einem Abschnitt und die Punkte im nächsten landen
- Kopf- und Fußzeilen aus PDFs, die sich als Störtext durch alle Abschnitte ziehen
- Gescannte Seiten, deren Texterkennung die Lesereihenfolge mehrspaltiger Layouts durcheinanderbringt
Die meisten dieser Probleme entstehen beim Einlesen, nicht beim Zerlegen selbst. Ein sauberes Umwandeln der Dokumente in Text mit erhaltener Struktur ist deshalb die halbe Arbeit.
Ein konstruiertes Beispiel
Ein Maschinenbauer will seine Servicehandbücher für den Kundendienst durchsuchbar machen. Ein erster Versuch zerlegt alle PDFs stur in Blöcke fester Länge. Die Antworten sind mäßig: Drehmomenttabellen sind zerrissen, und Warnhinweise landen ohne die zugehörige Arbeitsanweisung im Index. Im zweiten Versuch wird an Kapitelüberschriften getrennt, Tabellen bleiben als Ganzes erhalten und bekommen ihre Überschrift mit, und jeder Abschnitt trägt Maschinentyp und Kapitelname als Metadaten. Erst dadurch wird es auch möglich, die Suche auf den Maschinentyp einzugrenzen, nach dem ein Kunde fragt.
Wie man die passende Einstellung findet
Nicht durch Nachdenken, sondern durch Messen. Man sammelt einige Dutzend echte Fragen, wie sie Mitarbeitende oder Kunden stellen würden, und notiert zu jeder, in welchem Dokument und an welcher Stelle die Antwort steht. Dann prüft man für verschiedene Zerlegungen, wie oft die richtige Stelle unter den ersten Treffern ist. Diese Prüfung der Suche getrennt von der Prüfung der Antworten zeigt, ob ein schlechtes Ergebnis am Zerlegen, an der semantischen Suche oder am Sprachmodell liegt.
Sinnvoll ist auch, die Zerlegung nicht für alle Dokumentarten gleich zu wählen. Microsoft weist darauf hin, dass stark strukturierte Daten weniger Überlappung brauchen als erzählende Texte. Verträge, Handbücher, E-Mails und Produktdatenblätter haben jeweils eine eigene innere Ordnung, und die Zerlegung sollte ihr folgen.
Quellen
- Chunk documents, Microsoft Learn, Azure AI Search
- Introducing Contextual Retrieval, Anthropic, 2024
- Dense Passage Retrieval for Open-Domain Question Answering, Karpukhin et al., arXiv (EMNLP 2020), 2020
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

