Ein Large Language Model, kurz LLM, ist ein Programm, das Sprache nicht nach festen Regeln verarbeitet, sondern nach Mustern, die es aus sehr großen Textmengen gelernt hat. Das BSI beschreibt solche Modelle als neuronale Netze, die textuelle Eingaben verarbeiten und daraus Textausgaben erzeugen, und zwar auf Basis von Wahrscheinlichkeitsverteilungen: Das Modell sagt voraus, welches Zeichen, Wort oder welche Wortfolge im gegebenen Zusammenhang als Nächstes folgen könnte. Chatassistenten, Übersetzungswerkzeuge und viele Automatisierungen, die E-Mails lesen oder Dokumente zusammenfassen, beruhen auf diesem Prinzip.
Das klingt bescheiden, und genau darin liegt der Schlüssel zum Verständnis. Ein LLM schlägt nichts in einer Datenbank nach. Es erzeugt eine plausible Fortsetzung. Dass diese Fortsetzung sehr oft richtig, nützlich und gut formuliert ist, ergibt sich aus dem Umfang des Trainings, nicht aus einem eingebauten Wissen darüber, was wahr ist.
Wie aus Textvorhersage ein Werkzeug wird
Fast alle heutigen Sprachmodelle beruhen auf der Transformer-Architektur, die Forscher von Google 2017 in dem Aufsatz „Attention Is All You Need“ vorgestellt haben. Ihr Kern ist ein Mechanismus namens Attention: Das Modell gewichtet für jedes Textstück, welche anderen Stellen der Eingabe dafür gerade wichtig sind. So kann es in einem langen Vertrag einen Bezug zwischen einer Klausel auf Seite drei und einer Definition auf Seite eins herstellen, ohne den Text Wort für Wort von vorn nach hinten abzuarbeiten.
Das Training verläuft nach Darstellung des BSI in zwei Phasen. Zuerst lernt das Modell an riesigen Textsammlungen, Texte fortzusetzen. Dieses Vortraining vermittelt Grammatik, Sachwissen und Stil, aber noch keinen Gehorsam: Ein bloß vortrainiertes Modell beantwortet eine Frage nicht unbedingt, es setzt sie vielleicht mit weiteren Fragen fort. Erst die anschließende Feinabstimmung macht daraus einen Assistenten, der Anweisungen befolgt. Wie stark dieser zweite Schritt wirkt, zeigt eine Studie von OpenAI aus dem Jahr 2022: Menschliche Bewerter zogen die Antworten eines nachtrainierten Modells mit 1,3 Milliarden Parametern denen des mehr als hundertmal größeren GPT-3 vor.
Parameter sind die einstellbaren Zahlenwerte im Netz, die beim Training angepasst werden. Das BSI nannte in seiner Fassung von Januar 2025 Größenordnungen von bis zu einer Billion Parametern. Für die Praxis ist die genaue Zahl selten entscheidend. Größere Modelle können mehr, kosten aber mehr Rechenzeit je Anfrage und antworten oft langsamer. Für eng umrissene Aufgaben genügt häufig ein kleineres Modell.
Was ein Sprachmodell weiß und was nicht
Was ein Modell aus dem Training mitbringt, endet an einem Stichtag. Das BSI weist ausdrücklich darauf hin, dass ein Modell ohne Zugriff auf aktuelle Daten keine Informationen über spätere Ereignisse hat und trotzdem Antworten dazu erzeugt. Firmenwissen wie Preislisten, Kundenstämme oder interne Richtlinien kennt es ohnehin nicht. Es muss ihm bei jeder Anfrage mitgegeben werden, entweder direkt im Text der Anfrage oder über einen Suchschritt davor, wie ihn Retrieval Augmented Generation beschreibt. Wie viel dabei auf einmal hineinpasst, begrenzt das Kontextfenster.
Daraus folgt die wichtigste Eigenschaft für jeden betrieblichen Einsatz: Ein LLM kann flüssig und überzeugend formulieren, was falsch ist. Diese Halluzinationen sind keine seltene Panne, sondern eine Folge des Prinzips. Man kann sie verringern, aber nicht vollständig abstellen.
Wofür es sich eignet und wofür nicht
| Gut geeignet | Weniger geeignet |
|---|---|
| frei formulierte Texte verstehen und einordnen, etwa Anliegen in E-Mails | exakte Berechnungen, die ein Programm zuverlässig erledigt |
| Angaben aus Dokumenten in feste Felder übertragen | Auskünfte über Fakten, die nicht in der Anfrage stehen |
| Entwürfe, Zusammenfassungen, Übersetzungen | Entscheidungen, die ohne menschliche Prüfung rechtlich wirken |
| zwischen Formulierungen und Formaten übersetzen | Aufgaben, bei denen jede Abweichung im Wortlaut ein Fehler ist |
Die linke Spalte hat etwas gemeinsam: Das Ergebnis lässt sich prüfen, entweder durch einen Menschen oder durch eine nachgelagerte Regel. Wer ein Sprachmodell in einen Prozess einbaut, plant diese Prüfung von Anfang an mit, statt sie nachträglich anzuflicken.
Was der Betrieb mit sich bringt
Kosten. Abgerechnet wird bei den großen Anbietern nicht pro Anfrage, sondern nach der Menge verarbeiteter Token, getrennt nach Eingabe und Ausgabe. Lange Dokumente und ausführliche Anweisungen kosten deshalb bei jedem einzelnen Aufruf Geld.
Datenschutz. Bei einem Cloud-Modell verlassen die Eingaben das eigene Haus. Wer personenbezogene Daten verarbeitet, braucht einen Vertrag zur Auftragsverarbeitung und sollte wissen, in welcher Region verarbeitet wird und ob der Anbieter Eingaben speichert oder für Training verwendet. Die Alternative sind Modelle mit offen verfügbaren Gewichten, die im eigenen Rechenzentrum oder bei einem Hoster der Wahl laufen. Sie geben mehr Kontrolle, verlangen aber eigene Hardware und eigenes Know-how.
Veränderung. Anbieter entwickeln ihre Modelle laufend weiter und stellen ältere Versionen ein. Eine neue Version kann dieselbe Anweisung anders auslegen. OpenAI empfiehlt in seiner Dokumentation deshalb, produktive Anwendungen auf einen festen Modellstand festzulegen und eigene Tests aufzubauen, mit denen sich ein Wechsel prüfen lässt. Für ein Unternehmen heißt das: Ein Sprachmodell ist keine Software, die man einmal einrichtet und dann vergisst, sondern ein Baustein, dessen Verhalten man über die Zeit beobachten muss.
Fragen, die vor der Auswahl geklärt sein sollten
- Welche Daten gehen an das Modell, und dürfen sie das Unternehmen verlassen?
- Wie lange stellt der Anbieter die gewählte Modellversion bereit, und wie wird ein Wechsel angekündigt?
- Woran erkennt der Prozess eine falsche Antwort, und wer prüft sie?
- Was kostet ein typischer Vorgang in Token, und wie oft kommt er im Monat vor?
- Gibt es einen Plan für den Fall, dass der Dienst nicht erreichbar ist?
Wer diese Fragen beantworten kann, hat die meisten Risiken eines Sprachmodells im Griff. Die Wahl des konkreten Modells ist danach oft die kleinere Entscheidung.
Quellen
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025
- Attention Is All You Need, Vaswani et al., arXiv, 2017
- Training language models to follow instructions with human feedback, Ouyang et al., OpenAI, arXiv, 2022
- Glossary, Anthropic, Claude Developer Platform
- Prompt engineering, OpenAI, API-Dokumentation
Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

