Ein Sprachmodell hat kein Gedächtnis im üblichen Sinn. Was es bei einer Anfrage berücksichtigen kann, muss in dieser Anfrage stehen: die Anweisung, die Frage, das Dokument, bei einem Chat der bisherige Verlauf. Das Kontextfenster ist die Obergrenze für all das zusammen. Anthropic beschreibt es als eine Art Arbeitsgedächtnis des Modells und grenzt es ausdrücklich von den Daten ab, mit denen das Modell trainiert wurde. Google wählt das Bild des Kurzzeitgedächtnisses, in das eben nur eine begrenzte Menge passt.
Gemessen wird das Fenster in Token, nicht in Seiten oder Zeichen. Und es umfasst mehr, als man zunächst denkt.
Was alles hineinzählt
Nach der Dokumentation von Anthropic belegt jeder Bestandteil einer Anfrage Platz im Fenster: die Systemanweisung, alle Nachrichten einschließlich beigefügter Bilder und Dokumente, die Ergebnisse von Werkzeugaufrufen, die Beschreibungen der verfügbaren Werkzeuge und schließlich die Antwort, die das Modell erzeugt, samt etwaiger Denkschritte davor. Google formuliert es knapp: Das Kontextfenster ist die gemeinsame Grenze für Eingabe- und Ausgabetoken.
Wichtig für das Verständnis von Chatassistenten: Das Modell erinnert sich nicht an frühere Nachrichten. Die Anwendung schickt den gesamten bisherigen Verlauf bei jeder neuen Frage erneut mit. Ein Gespräch wird deshalb mit jeder Runde länger und teurer, bis es an die Grenze stößt. Chatoberflächen können dann laut Anthropic die ältesten Teile nach dem Prinzip „zuerst hinein, zuerst hinaus“ herausfallen lassen. Eine Anweisung vom Anfang des Gesprächs kann so verloren gehen, ohne dass es jemand bemerkt.
Wie groß Kontextfenster heute sind
Die Größen haben sich in wenigen Jahren vervielfacht und ändern sich weiter. Zum Stand Oktober 2026 nennt Anthropic für seine aktuellen Modelle ein Fenster von bis zu einer Million Token, je nach Modell, für ältere Modelle 200.000 Token. Google gibt für Gemini-Modelle ebenfalls eine Million Token an und veranschaulicht das mit etwa acht durchschnittlich langen englischen Romanen. Solche Angaben veralten schnell. Für eine Planung zählt das Fenster des konkret gewählten Modells, und das steht in dessen Dokumentation.
Warum ein größeres Kontextfenster nicht automatisch hilft
Es liegt nahe, bei so viel Platz einfach alles mitzuschicken: das ganze Handbuch, alle Verträge, den kompletten Schriftverkehr. Dagegen sprechen drei Gründe.
Die Genauigkeit sinkt. Anthropic schreibt selbst, dass mehr Kontext nicht automatisch besser ist: Mit wachsender Tokenzahl lassen Genauigkeit und Erinnerungsvermögen des Modells nach. Eine Studie von Liu und anderen aus dem Jahr 2023 hat ein bestimmtes Muster gezeigt: Modelle nutzten Informationen am Anfang oder Ende eines langen Textes deutlich besser als Informationen in der Mitte. Google weist darauf hin, dass ein Modell eine einzelne gesuchte Angabe in einem langen Text sehr zuverlässig findet, bei vielen gleichzeitig gesuchten Angaben aber nicht mit derselben Genauigkeit arbeitet.
Die Kosten steigen. Jedes Token im Fenster wird bei jeder Anfrage berechnet. Wer zu jeder eingehenden E-Mail ein Handbuch von mehreren Hundert Seiten mitschickt, bezahlt dieses Handbuch bei jeder E-Mail neu. Zwischenspeicher für wiederkehrende Teile senken den Preis, ändern aber laut Anthropic nichts daran, dass diese Teile Platz im Fenster belegen.
Die Antwort dauert länger. Je mehr Text das Modell vor der Antwort verarbeiten muss, desto länger dauert es in der Regel, bis das erste Wort erscheint. Bei einer Telefonanwendung oder einem Chat spürt der Kunde das.
Großes Fenster oder gezielte Auswahl
Daraus ergibt sich die eigentliche Entwurfsentscheidung. Entweder man gibt dem Modell viel Text und überlässt ihm das Finden. Oder man sucht vorher die passenden Abschnitte heraus und gibt nur diese mit. Das zweite Vorgehen heißt Retrieval Augmented Generation: Dokumente werden vorab in Abschnitte zerlegt, ein Vorgang, den der Eintrag zum Chunking beschreibt, und zu jeder Anfrage werden nur die relevanten Abschnitte geladen.
| Alles ins Fenster | Gezielte Auswahl | |
|---|---|---|
| geeignet für | ein einzelnes langes Dokument, das ganz verstanden werden muss | große, wachsende Wissensbestände |
| Kosten je Anfrage | hoch, wächst mit der Textmenge | niedriger, weitgehend unabhängig vom Bestand |
| Aufwand vorab | gering | Aufbereitung und Pflege des Suchindex |
| typischer Fehler | übersehene Stelle in der Mitte | der richtige Abschnitt wird gar nicht gefunden |
In der Praxis ist es selten ein Entweder-oder. Einen einzelnen Vertrag gibt man ganz mit, aus tausend Verträgen sucht man vorher die richtigen heraus. Diese bewusste Auswahl dessen, was ins Fenster kommt, heißt Context Engineering.
Was das für Datenschutz und Betrieb bedeutet
Alles im Kontextfenster geht an das Modell, bei einem Cloud-Dienst also an den Anbieter. Wer großzügig Kontext mitschickt, überträgt auch Daten, die für die Aufgabe gar nicht nötig wären. Das BSI weist zudem darauf hin, dass große Kontextfenster es erleichtern, Inhalte aus mehreren Quellen zu verknüpfen und so etwa Personen in geschwärzten Dokumenten wiederzuerkennen. Sparsamkeit beim Kontext ist deshalb nicht nur eine Kostenfrage.
Für den Betrieb lohnt eine einfache Regel: Bei jeder Anfrage sollte nachvollziehbar sein, was im Fenster stand. Erst dann lässt sich bei einer falschen Antwort klären, ob dem Modell eine Information fehlte, ob sie falsch war oder ob es sie übersehen hat. Gerade Halluzinationen entstehen häufig dort, wo die nötige Angabe nicht im Kontext stand und das Modell die Lücke mit einer plausiblen Vermutung gefüllt hat. Überschreitet eine Anfrage die Grenze ganz, lehnt die Schnittstelle sie ab, bei Anthropic etwa mit der Meldung, der Prompt sei zu lang. Das ist der harmlosere Fall, weil er auffällt. Gefährlicher ist ein Fenster, das knapp reicht und in dem das Wichtige an einer Stelle steht, die das Modell kaum beachtet.
Quellen
- Context windows, Anthropic, Claude Developer Platform
- Long context, Google, Gemini API-Dokumentation
- Lost in the Middle: How Language Models Use Long Contexts, Liu et al., arXiv, 2023
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

