Eine KI-gestützte Automatisierung ist am Tag ihrer Einführung nicht fertig. Der Anbieter bringt ein neues Modell heraus und kündigt das alte ab. Jemand verbessert den Prompt für eine Sonderform von Rechnungen. Die Wissensbasis, aus der das System Antworten zieht, bekommt neue Dokumente. Jede dieser Änderungen kann das Verhalten verbessern, und jede kann es an einer Stelle verschlechtern, an der niemand hinsieht. LLMOps ist der Sammelbegriff für die Arbeitsweise, mit der man solche Änderungen geordnet vornimmt: nachvollziehbar, geprüft und umkehrbar.
Der Begriff ist nicht genormt, und es gibt Konkurrenz. Microsoft spricht im Azure Architecture Center von GenAIOps, also dem Betrieb generativer KI, und merkt an, dass dafür mitunter auch LLMOps gesagt wird. Gemeint ist in beiden Fällen dasselbe.
Was anders ist als bei MLOps
LLMOps ist aus MLOps hervorgegangen, dem Betrieb klassischer Modelle des maschinellen Lernens. Google beschreibt MLOps als Kultur und Praxis, die Entwicklung und Betrieb von ML-Systemen zusammenführt, mit Automatisierung und Überwachung in allen Schritten. Ein Kernstück ist dort das fortlaufende Neutrainieren: Das Unternehmen trainiert sein eigenes Modell, etwa für eine Absatzprognose, und trainiert es mit frischen Daten regelmäßig nach.
Bei Sprachmodellen trainieren die meisten Unternehmen nichts. Sie nutzen ein fertiges Modell eines Anbieters und gestalten, was sie ihm geben. Microsoft benennt genau diese Verschiebung: Bei klassischem maschinellem Lernen ist das trainierte Modell das zentrale Gut. Bei generativer KI ist ein wesentlicher Teil der Lösung der Prompt, zusammengesetzt aus Anweisungen und oft aus Kontextdaten, und das System, das diesen Prompt zusammenstellt, Datenquellen abfragt und das Modell aufruft.
| Frage | MLOps | LLMOps |
|---|---|---|
| Was wird gebaut? | ein eigenes, trainiertes Modell | eine Anwendung um ein fremdes Modell herum |
| Was ändert sich am häufigsten? | Trainingsdaten, Modellgewichte | Prompts, Kontextdaten, Werkzeuge, Modellversion des Anbieters |
| Wer bestimmt den Takt? | das eigene Team | zu einem guten Teil der Modellanbieter |
| Wie misst man Qualität? | Kennzahlen wie Genauigkeit auf Testdaten | aufgabenbezogene Testfälle, oft mit freien Textantworten |
| Wovon laufende Kosten abhängen | eigene Rechenkapazität für Training und Betrieb | Zahl und Größe der Modellaufrufe (Tokens) |
Wer ein Sprachmodell selbst feinjustiert, braucht beides: Für das Training gelten die Verfahren aus MLOps weiter, wie auch Microsoft festhält.
Was versioniert werden muss
Ein KI-gestützter Ablauf besteht aus mehr Teilen als ein klassisches Programm, und jeder davon kann sich unabhängig ändern. Damit man später sagen kann, mit welchem Stand ein bestimmtes Ergebnis entstanden ist, gehören alle unter Versionskontrolle:
- Die Modellversion. Anbieter führen Modellnamen, die auf wechselnde Versionen zeigen, und feste Versionen. OpenAI beschreibt diese festen Versionen („Snapshots“) als Möglichkeit, eine bestimmte Version zu fixieren, damit Leistung und Verhalten gleich bleiben. Im Produktivbetrieb sollte man sie nutzen.
- Die Prompts. Sie sind Programmcode, auch wenn sie wie Text aussehen, und gehören wie Code verwaltet, nicht in ein Textfeld einer Oberfläche, in dem jede Änderung den alten Stand überschreibt. Wie man sie gestaltet, beschreibt der Eintrag Prompt Engineering.
- Die Werkzeuge, die das Modell aufrufen darf, mit ihren Beschreibungen.
- Die Wissensbasis. Bei RAG hängt das Ergebnis davon ab, wie Dokumente zerlegt und indiziert wurden. Microsoft empfiehlt, auch diese Daten zu versionieren, um Varianten vergleichen und auf einen früheren Stand zurückkehren zu können.
- Die Einstellungen, etwa die maximale Antwortlänge oder Schwellenwerte für die Übergabe an einen Menschen.
- Der Testsatz, mit dem all das geprüft wird.
Ein Stand dieser Teile zusammen ist ein Release. Erst wenn man ihn als Ganzes benennen kann, lässt sich eine Verschlechterung auf eine bestimmte Änderung zurückführen.
Der Modellwechsel als Pflichttermin
Bei einer eigenen Software entscheidet das Unternehmen, wann es aktualisiert. Bei Sprachmodellen über eine Schnittstelle entscheidet das zu einem Teil der Anbieter. Anthropic etwa kündigt die Abschaltung öffentlich verfügbarer Modelle mit mindestens 60 Tagen Vorlauf an. Danach schlagen Anfragen an das alte Modell fehl. Die Dokumentation empfiehlt, Anwendungen schon lange vor dem Abschalttermin mit den Nachfolgemodellen zu testen.
Damit wird der Modellwechsel zu einem wiederkehrenden Vorgang mit festem Ablauf: neues Modell gegen den bestehenden Testsatz laufen lassen, Unterschiede auswerten, Prompts bei Bedarf anpassen, erneut prüfen, dann umstellen. Wer diesen Ablauf einmal eingerichtet hat, kann ihn planbar wiederholen. Wer ihn erst erfindet, wenn die Abkündigungsmail kommt, hat wenige Wochen Zeit und keinen Vergleichsmaßstab. Die Methode der Prüfung beschreibt der Eintrag zur Evaluation von KI-Systemen.
Ausrollen und zurückrollen
Eine geprüfte Änderung geht nicht sofort an alle Vorgänge. Microsoft nennt für generative KI dieselben Verfahren wie für andere Software: Tests auf mehreren Ebenen, A/B-Vergleiche und schrittweise Einführungen, bei denen zunächst nur ein kleiner Teil der Vorgänge über die neue Version läuft. Häufig steht dafür ein Gateway vor dem Modell, eine Vermittlungsschicht, über die alle Aufrufe laufen. Zusammen mit sauberer Versionierung erlaubt es, eine neue Version nach und nach freizugeben und bei Problemen auf die vorige zurückzuschalten.
Im laufenden Betrieb setzt sich das als Beobachtung fort. Microsoft nennt als Betriebskennzahlen ausdrücklich Antwortzeit, Tokenverbrauch und 429-Antworten, also abgelehnte Anfragen wegen überschrittener Grenzen. Welche fachlichen Kennzahlen dazukommen, beschreibt der Eintrag zum Monitoring von KI-Systemen.
Kosten als Betriebsgröße
Bei klassischer Software sind die Betriebskosten weitgehend fix. Bei Sprachmodellen hängen sie an jedem einzelnen Aufruf: an der Länge des Prompts, an der Menge mitgeschickter Dokumente, an der Zahl der Schritte, an der Wahl des Modells. Eine harmlos wirkende Änderung, etwa ein zusätzliches Dokument im Kontext, kann die Kosten je Vorgang vervielfachen, ohne dass sich an der Qualität etwas ändert. LLMOps behandelt die Kosten deshalb wie die Qualität: Sie werden je Vorgang gemessen, vor einer Änderung mit dem Testsatz geschätzt und nach der Änderung überwacht. Die Gesamtrechnung über die Laufzeit gehört in die Total Cost of Ownership.
Wie viel davon ein Mittelständler braucht
Sculley und Kollegen haben 2015 beschrieben, dass Systeme mit maschinellem Lernen versteckte Wartungskosten mitbringen, unter anderem durch Datenabhängigkeiten, Konfigurationsprobleme und Veränderungen der Außenwelt. Das gilt für Sprachmodell-Anwendungen erst recht, denn hier verändert sich sogar das Modell selbst von außen. Das heißt nicht, dass ein Unternehmen mit drei KI-gestützten Abläufen eine eigene Plattform braucht. Es braucht aber ein Minimum an Ordnung:
- feste Modellversionen statt wandernder Namen
- Prompts und Einstellungen in einer Versionsverwaltung
- einen Testsatz je Ablauf, der vor jeder Änderung läuft
- ein Protokoll, welche Version welchen Vorgang bearbeitet hat
- eine Kennzahl für Kosten je Vorgang
- einen Plan für den nächsten Modellwechsel
Wer eine KI-Automatisierung einkauft, sollte den Anbieter nach genau diesen Punkten fragen. Die Antwort zeigt schnell, ob ein Ablauf gebaut wurde, der auch im zweiten Jahr noch funktioniert.
Quellen
- Generative AI operations for organizations with MLOps investments, Microsoft Learn, Azure Architecture Center
- MLOps: Continuous delivery and automation pipelines in machine learning, Google Cloud, Architecture Center
- Hidden Technical Debt in Machine Learning Systems, D. Sculley u. a., Advances in Neural Information Processing Systems 28, 2015
- Model deprecations, Anthropic, Claude Platform Docs
- GPT-4o (Abschnitt Snapshots), OpenAI API Docs
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

