Fast jede öffentliche Schnittstelle rationiert ihre Leistung. Ein CRM nimmt pro Minute nur eine bestimmte Zahl von Anfragen je Zugang an, ein Sprachmodell nur eine bestimmte Menge Text. Die Gründe liegen auf der Hand: Der Anbieter schützt seine Systeme vor Überlastung, verteilt die Kapazität gerecht auf alle Kunden und begrenzt Missbrauch. Für den Nutzer ist das Rate Limit eine harte Planungsgröße. Ein Ablauf, der im Test mit zehn Dokumenten reibungslos läuft, kann am Monatsende mit zweitausend Dokumenten an genau dieser Grenze hängen bleiben.
Microsoft unterscheidet in seinem Architekturleitfaden zwei Blickwinkel. Aus Sicht des Anbieters heißt das Begrenzen „Throttling“: Der Dienst lehnt Anfragen ab, sobald ein Nutzer seine Grenze überschreitet. Aus Sicht des Nutzers heißt „Rate Limiting“, die eigenen Anfragen von vornherein so zu dosieren, dass man unter dieser Grenze bleibt. Im Alltag werden beide Begriffe oft gleichbedeutend verwendet.
Was bei Überschreitung passiert
Für die Ablehnung gibt es einen eigenen HTTP-Statuscode: 429 „Too Many
Requests“, festgelegt in RFC 6585. Er besagt, dass der Nutzer in einem
bestimmten Zeitraum zu viele Anfragen geschickt hat. Die Antwort soll den Grund
erläutern und kann im Kopffeld Retry-After angeben, wie lange man warten soll.
Dieses Kopffeld ist in RFC 9110 beschrieben und enthält entweder eine Anzahl
Sekunden oder einen Zeitpunkt. RFC 6585 legt ausdrücklich nicht fest, wie ein
Server Anfragen zählt oder den Nutzer erkennt. Das kann je Zugang, je Endpunkt
oder für den ganzen Dienst geschehen und ist Sache jedes Anbieters.
Wichtig ist, was 429 nicht bedeutet: Die Anfrage war nicht falsch, sie kam nur zur falschen Zeit. Anders als bei den meisten Fehlern der 400er-Gruppe lohnt sich ein späterer zweiter Versuch. Daneben signalisiert auch Status 503 („Service Unavailable“) oft eine vorübergehende Überlastung, dann allerdings des Dienstes insgesamt und nicht des einzelnen Nutzers.
Wie Modellanbieter begrenzen
Bei Sprachmodellen zählt nicht nur die Zahl der Anfragen, sondern auch ihre Größe. Eine Anfrage mit einem hundertseitigen Vertrag belastet das Modell weit mehr als eine Frage in einem Satz. Die Anbieter messen deshalb in Tokens.
OpenAI nennt in seiner Dokumentation fünf Maße: Anfragen pro Minute und pro Tag, Tokens pro Minute und pro Tag sowie Bilder pro Minute. Es greift jeweils die Grenze, die zuerst erreicht ist. Die Grenzen gelten je Organisation und Projekt und hängen vom Modell und von einer Nutzungsstufe ab, in die ein Konto mit steigenden Ausgaben automatisch aufrückt. Anthropic misst bei seiner Schnittstelle Anfragen pro Minute sowie Eingabe- und Ausgabe-Tokens pro Minute getrennt, ebenfalls je Modellklasse und Nutzungsstufe.
Einige Details aus der Dokumentation sind für die Planung wichtiger als die Zahlen selbst:
- Grenzen gelten auch im Kleinen. Anthropic weist darauf hin, dass eine Grenze von 60 Anfragen pro Minute auch als eine Anfrage pro Sekunde durchgesetzt werden kann. Kurze Schübe können also scheitern, obwohl der Minutendurchschnitt passt.
- Plötzliches Wachstum fällt auf. Steigt die Nutzung einer Organisation sprunghaft an, kann Anthropic ebenfalls mit 429 antworten und empfiehlt, den Verkehr schrittweise hochzufahren.
- Fehlversuche zählen mit. OpenAI schreibt ausdrücklich, dass auch abgelehnte Anfragen auf das Minutenkontingent angerechnet werden. Wer stur weiterschickt, verlängert die Sperre.
- Zwischengespeicherte Eingaben entlasten. Bei den meisten Claude-Modellen zählen Eingabe-Tokens, die aus dem Zwischenspeicher gelesen werden, nicht auf die Eingabegrenze an. Ein gleichbleibender langer Prompt, etwa Arbeitsanweisungen, kostet dann kaum Kontingent.
- Ausgabenlimits sind etwas anderes. Anthropic setzt je Stufe zusätzlich
eine monatliche Ausgabengrenze. Ist sie erreicht, kommt ebenfalls ein 429,
aber ohne
Retry-After, und Wiederholungen scheitern bis zum nächsten Monat oder bis zur Anhebung der Grenze.
Die konkreten Werte ändern sich mit jeder Modellgeneration und stehen in der Konsole des jeweiligen Kontos. Für eine Planung sollte man sie dort nachlesen, nicht aus einer Tabelle von gestern übernehmen.
Richtig warten
Die naheliegende Reaktion auf ein 429 ist ein neuer Versuch. Entscheidend ist,
wann. Liefert der Dienst ein Retry-After, gilt dieser Wert. Fehlt es, hat sich
das exponentielle Zurückweichen bewährt (englisch „exponential backoff“): nach
dem ersten Fehlschlag kurz warten, nach jedem weiteren doppelt so lange, bis zu
einer Obergrenze. OpenAI empfiehlt zusätzlich einen zufälligen Anteil an der
Wartezeit („Jitter“), damit nicht viele Prozesse im selben Moment erneut
anklopfen.
Microsoft warnt im Throttling-Muster vor dem Gegenteil, dem Wiederholungssturm: Blinde oder zu aggressive Wiederholungen erhöhen die Last, und wer eine 429 aus einem nachgelagerten Dienst still schluckt, statt sie weiterzugeben, verhindert, dass die ganze Aufrufkette langsamer wird. Zwei Regeln folgen daraus. Erstens gehört eine Obergrenze für die Zahl der Versuche in jeden Ablauf; danach geht der Vorgang in die Ausnahmebehandlung oder auf einen Fallback. Zweitens darf nur wiederholt werden, was sich gefahrlos wiederholen lässt. Ob ein zweiter Versuch einen Datensatz doppelt anlegt, ist eine Frage der Idempotenz.
Besser dosieren als wiederholen
Microsoft rechnet im Rate-Limiting-Muster ein Beispiel vor: 10.000 Datensätze sollen in eine Datenbank, die nur ein Fünftel davon auf einmal annimmt. Wer alles schickt und die Abgelehnten wiederholt, braucht fünf Durchgänge und überträgt insgesamt 30.000 Datensätze, um 10.000 zu speichern, mit 20.000 Fehlermeldungen als Nebenprodukt. Die Alternative: die Arbeit in eine dauerhafte Warteschlange legen und von dort in genau dem Tempo abarbeiten, das der Zieldienst verträgt. Eine Message Queue ist dafür das übliche Werkzeug. Das Muster passt allerdings nicht, wenn eine Antwort sofort gebraucht wird, etwa während ein Kunde am Telefon wartet.
Für große Mengen ohne Eile bieten die Modellanbieter zudem eigene Stapelschnittstellen an. Bei OpenAI belastet die Batch API die regulären Grenzen nicht, Anthropic führt für seine Message Batches API eigene Grenzen. Für eine nächtliche Verarbeitung von Belegen ist das oft der passende Weg.
Was man vor dem Start rechnen sollte
Ein Rechenbeispiel mit ausdrücklich angenommenen Werten: Ein Ablauf soll Eingangsrechnungen auslesen, je Rechnung mit etwa 5.000 Eingabe-Tokens. Am Monatsende kommen 1.500 Rechnungen an einem Vormittag. Sollen sie in einer Stunde durch sein, braucht es 25 Rechnungen pro Minute, also 125.000 Eingabe-Tokens pro Minute, ohne Wiederholungen und ohne andere Abläufe, die dasselbe Konto nutzen. Ob das in die eigene Stufe passt, steht in der Konsole. Passt es nicht, gibt es drei Stellschrauben: eine höhere Stufe beantragen, die Last über eine Warteschlange strecken oder die Eingaben verkleinern.
Weil sich alle Abläufe eines Kontos dieselbe Grenze teilen, gehört die Zahl der 429-Antworten außerdem in das Monitoring. Steigt sie, ist das ein frühes Zeichen dafür, dass ein neuer Ablauf dem alten die Kapazität wegnimmt.
Quellen
- RFC 6585: Additional HTTP Status Codes, Abschnitt 4 (429 Too Many Requests), Internet Engineering Task Force (IETF), 2012
- RFC 9110: HTTP Semantics, Abschnitt 10.2.3 (Retry-After), Internet Engineering Task Force (IETF), 2022
- Rate limits, Anthropic, Claude Platform Docs
- Rate limits, OpenAI API Docs
- Rate Limiting pattern, Microsoft Learn, Azure Architecture Center
- Throttling pattern, Microsoft Learn, Azure Architecture Center
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

