Ein KI-Modell hat zwei Lebensabschnitte. Im Training lernt es, und das geschieht einmal, mit enormem Rechenaufwand, beim Hersteller. Danach wird es benutzt: Es bekommt eine Eingabe und berechnet eine Ausgabe. Dieses Ausführen heißt Inferenz. Jede E-Mail, die ein Modell einordnet, jede Rechnung, die es ausliest, jede Antwort im Chat ist eine Inferenz.
Für ein Unternehmen, das KI einsetzt, ist das der Teil, der zählt. Das Training haben andere bezahlt. Wartezeiten, laufende Kosten und der Bedarf an Hardware entstehen bei der Inferenz, und zwar bei jeder einzelnen Anfrage aufs Neue. Mit dem Begriff aus der Statistik, wo Inferenz das Schließen von einer Stichprobe auf die Gesamtheit meint, hat diese Bedeutung wenig zu tun.
Zwei Phasen einer Anfrage
Bei einem Sprachmodell läuft jede Inferenz in zwei Phasen ab, die sich technisch deutlich unterscheiden. Ein Forschungsteam von Microsoft hat das 2023 genau beschrieben.
Das Einlesen. Zuerst verarbeitet das Modell die gesamte Eingabe auf einmal: Anweisung, Dokument, bisherigen Verlauf. Diese Phase ist rechenintensiv, aber gut parallelisierbar. Je länger die Eingabe, desto länger dauert es, bis das erste Wort der Antwort erscheint.
Das Schreiben. Danach erzeugt das Modell die Antwort Token für Token. Für jedes neue Token braucht es Zugriff auf Zwischenergebnisse aller vorherigen. Diese Phase ist nach der Microsoft-Studie weniger durch Rechenleistung begrenzt als durch Speicher. Eine lange Antwort dauert deshalb spürbar länger als eine kurze, und mehr reine Rechenleistung ändert daran wenig.
Die Zwischenergebnisse, die das Modell beim Schreiben mitführt, liegen in einem eigenen Speicherbereich der Grafikkarte, dem KV-Cache. Er wächst mit der Länge von Eingabe und Ausgabe und wird für jede gleichzeitig laufende Anfrage gebraucht. Kwon und andere haben 2023 gezeigt, dass schlecht verwalteter Speicher hier zum Engpass wird und begrenzt, wie viele Anfragen parallel laufen können. Ihr Verfahren PagedAttention, Grundlage der Software vLLM, steigerte den Durchsatz gegenüber damaligen Systemen auf das Zwei- bis Vierfache bei gleicher Wartezeit. Daraus folgt auch, warum ein großes Kontextfenster nicht nur Geld kostet, sondern Speicher und Parallelität.
Wie schnell die Antwort kommt
Anthropic unterscheidet zwei Maße. Die Latenz ist die Zeit, bis das Modell die Eingabe verarbeitet und die Antwort erzeugt hat. Die Time to First Token ist die Zeit bis zum ersten Token der Antwort. Sie entscheidet, wie schnell sich eine Anwendung anfühlt, wenn die Antwort beim Entstehen gestreamt, also Stück für Stück angezeigt wird.
Die Hebel, die Anthropic nennt, folgen direkt aus den zwei Phasen: ein passendes, gegebenenfalls kleineres Modell wählen, Eingabe und Ausgabe so kurz halten, wie es die Aufgabe erlaubt, und Antworten streamen. Ein Reasoning-Modell verlängert die zweite Phase bewusst, weil es vor der Antwort zusätzliche Denkschritte schreibt.
Ob die Latenz eine Rolle spielt, hängt am Prozess. Am Telefon zählt jede Sekunde, in einem Chat einige Sekunden. Bei einer Rechnung, die ohnehin erst am nächsten Tag gebucht wird, ist es gleichgültig, ob das Auslesen zwei oder zwanzig Sekunden dauert.
Echtzeit oder Stapel
Daraus ergibt sich eine der wirksamsten Entscheidungen im Betrieb. Die großen Anbieter bieten neben der sofortigen Antwort eine Stapelverarbeitung an: Man reicht viele Anfragen gesammelt ein und holt die Ergebnisse später ab.
| Echtzeit | Stapelverarbeitung | |
|---|---|---|
| Antwort | sofort | nach Minuten bis Stunden, Zeitfenster bis 24 Stunden |
| Preis | Listenpreis | bei Anthropic und OpenAI die Hälfte |
| Mengengrenzen | übliche Rate Limits | bei OpenAI ein eigenes, deutlich höheres Kontingent |
| geeignet für | Chat, Telefon, Vorgänge mit Wartenden | Nachtläufe, Archivauswertung, Tests, Massenklassifikation |
Anthropic nennt für seine Stapelschnittstelle bis zu 100.000 Anfragen je Stapel, die meisten Stapel seien in weniger als einer Stunde fertig, und die Ergebnisse stehen 29 Tage zum Abruf bereit (Stand Oktober 2026). Ein konstruiertes Beispiel: Ein Unternehmen will zehntausend alte Verträge nach Kündigungsfristen durchsuchen. Niemand wartet auf das einzelne Ergebnis, also gehört der Auftrag in einen Stapel und kostet die Hälfte.
Inferenz auf eigener Hardware
Wer ein Modell mit offenen Gewichten selbst betreibt, übernimmt die Inferenz selbst, und damit rückt der Speicher in den Mittelpunkt. Die Gewichte müssen vollständig in den Speicher der Grafikkarte passen, dazu der KV-Cache aller laufenden Anfragen. Google gibt für sein Modell Gemma 4 mit 31 Milliarden Parametern 69,9 GB bei 16-Bit-Genauigkeit an, 34,9 GB bei 8 Bit und 17,5 GB bei 4 Bit (Stand Oktober 2026).
Dieses Verkleinern heißt Quantisierung: Jedes Gewicht wird mit weniger Bits gespeichert. Das spart Speicher und oft Zeit, kann aber die Qualität der Antworten mindern, je nach Modell und Aufgabe kaum merklich oder deutlich. Ob eine quantisierte Fassung für den eigenen Zweck reicht, muss man an eigenen Fällen messen.
Hinzu kommt ein Zielkonflikt. Fasst die Software viele Anfragen zusammen, nutzt sie die Grafikkarte besser aus und schafft mehr Anfragen pro Stunde, aber die einzelne Anfrage wartet unter Umständen länger. Ein System für Telefonate wird anders eingestellt als eines für nächtliche Stapel. Welche Modelle sich für den eigenen Betrieb eignen und was die Lizenz erlaubt, beschreibt der Eintrag zum Open-Weight-Modell.
Was Inferenz kostet
Bei einem Cloud-Dienst ist die Rechnung einfach: Bezahlt wird je Token, getrennt nach Eingabe und Ausgabe, und die Kosten wachsen genau mit der Nutzung. Im eigenen Haus ist es umgekehrt. Grafikkarten, Strom und Betreuung kosten auch dann, wenn das Modell nachts stillsteht. Ob sich der eigene Betrieb rechnet, hängt deshalb weniger vom Preis je Token ab als von der Auslastung: Ein Server, der rund um die Uhr gleichmäßig zu tun hat, ist etwas anderes als einer, der werktags zwei Stunden Spitzenlast abfangen muss und sonst wartet. In eine Betrachtung der Gesamtkosten gehört beides, die Hardware und die Zeit der Menschen, die sie betreiben.
Quellen
- Splitwise: Efficient Generative LLM Inference Using Phase Splitting, Patel et al., Microsoft, arXiv, 2023
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al., arXiv, 2023
- Reducing latency, Anthropic, Claude Developer Platform
- Batch processing, Anthropic, Claude Developer Platform
- Batch API, OpenAI, API-Dokumentation
- Gemma 4 model overview, Google AI for Developers
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

