Zum Inhalt springen

KI-Grundlagen

Small Language Model (SLM)

Ein Small Language Model ist ein Sprachmodell mit vergleichsweise wenigen Parametern, oft einigen Milliarden statt Hunderten Milliarden, das auf einem einzelnen Server, einem Laptop oder sogar einem Smartphone laufen kann und für eng umrissene Aufgaben häufig ausreicht.

Auch: SLM, kleines Sprachmodell, kompaktes Sprachmodell, On-Device-Modell

„Small“ ist relativ. Eine feste Grenze, ab der ein Sprachmodell klein ist, gibt es nicht, und auch die Fachliteratur zieht keine einheitliche Linie. Das BSI nannte für große Modelle in seiner Fassung von Januar 2025 Größenordnungen von bis zu einer Billion Parametern. Als klein gelten dagegen Modelle mit einigen Milliarden Parametern, die so wenig Speicher brauchen, dass sie auf einem einzelnen Rechner laufen. Ein bekanntes Beispiel ist Phi-3-mini, das Microsoft 2024 vorgestellt hat: 3,8 Milliarden Parameter, nach Angabe der Autoren klein genug für ein Smartphone und in gängigen Tests nicht weit entfernt von deutlich größeren Modellen jener Zeit.

Wichtig ist der Begriff weniger wegen der genauen Größe als wegen der Frage, die er aufwirft: Braucht eine Aufgabe wirklich das größte verfügbare Sprachmodell, oder genügt ein kleines, das schneller, billiger und im eigenen Haus läuft?

Warum kleine Modelle aufgeholt haben

Lange galt die Regel, dass mehr Parameter mehr Fähigkeiten bedeuten. Sie gilt weiterhin, aber sie erklärt nicht alles. Drei Entwicklungen haben kleine Modelle brauchbarer gemacht.

Bessere Trainingsdaten. Microsoft führt die Leistung von Phi-3-mini vor allem auf die Daten zurück: stark gefilterte öffentliche Webdaten und synthetisch erzeugte Texte. Wer weniger Platz hat, muss ihn mit dem Wichtigeren füllen.

Lernen vom großen Modell. Ein großes Modell kann ein kleines anlernen, indem dieses an seinen Antworten trainiert wird. Das Forschungsteam von DeepSeek hat 2025 gezeigt, dass sich so auch die Denkweise eines großen Reasoning-Modells auf deutlich kleinere Modelle übertragen lässt.

Zuschnitt auf eine Aufgabe. OpenAI beschreibt ausdrücklich den Weg, ein kleineres, günstigeres und schnelleres Modell per Fine-Tuning so zu trainieren, dass es eine eng umrissene Aufgabe so gut erledigt wie ein großes.

Wo ein kleines Modell genügt und wo nicht

Ein Forschungsteam von NVIDIA hat 2025 die These vertreten, kleine Modelle seien für viele Anwendungen mit KI-Agenten ausreichend, besser geeignet und wirtschaftlicher. Das Argument ist nüchtern: Solche Systeme erledigen meist eine kleine Zahl spezialisierter Aufgaben immer wieder, und dafür braucht es kein Modell, das alles kann. Wo allgemeine Gesprächsfähigkeit gefragt ist, schlagen die Autoren eine Mischung aus kleinen und großen Modellen vor.

Die Schwäche benennt der Phi-3-Bericht selbst. Dem kleinen Modell fehle schlicht die Kapazität, viel Faktenwissen zu speichern, und es sei überwiegend auf Englisch ausgerichtet. Die Autoren schlagen vor, fehlendes Wissen über eine angebundene Suche nachzuliefern. Für deutsche Geschäftsdokumente ist der zweite Punkt wichtig: Wie gut ein kleines Modell Deutsch beherrscht, unterscheidet sich stark zwischen Modellfamilien und muss geprüft werden.

Aufgabe kleines Modell großes Modell
E-Mails nach festen Kategorien sortieren meist ausreichend oft überdimensioniert
Felder aus einheitlichen Belegen auslesen meist ausreichend, gut trainierbar zuverlässig, aber teurer
Text gegen mitgelieferte Unterlagen prüfen möglich, wenn die Unterlagen dabei sind robuster bei langen Texten
Fragen ohne mitgelieferte Unterlagen beantworten wenig Faktenwissen mehr Wissen, trotzdem fehleranfällig
Mehrstufige Planung mit vielen Werkzeugen eher schwach deutlich stärker

Die Tabelle beschreibt Tendenzen. Die Spannweite innerhalb der kleinen Modelle ist groß, und die Modelle werden mit jeder Generation besser.

Was der Betrieb bringt

Lokal statt in der Cloud. Kleine Modelle stehen häufig als offene Gewichte zur Verfügung und lassen sich auf eigener Hardware betreiben. Google beschreibt die kleinsten Varianten seiner Gemma-4-Familie als gedacht für Smartphones, andere Geräte am Netzrand und den Browser und gibt für das Modell E4B in einer auf 4 Bit verkleinerten Fassung einen Speicherbedarf von 4,5 GB an (Stand Oktober 2026). Damit verlassen die Daten das Haus nicht. Was dabei lizenzrechtlich zu beachten ist, beschreibt der Eintrag zum Open-Weight-Modell.

Schneller und günstiger je Anfrage. Weniger Parameter heißt weniger Rechenarbeit für jedes erzeugte Token. Das verkürzt die Wartezeit und senkt die Kosten, bei einem Dienst über den Tokenpreis, im eigenen Haus über kleinere und weniger Grafikkarten. Welche Faktoren die Ausführungszeit sonst noch bestimmen, erklärt der Eintrag zur Inferenz.

Aber nicht kostenlos. Ein lokal betriebenes Modell braucht jemanden, der es einrichtet, überwacht und aktualisiert. Bei geringem Volumen ist ein kleines Modell über eine Schnittstelle oft billiger als eigene Hardware. Eine ehrliche Rechnung der Gesamtkosten gehört vor die Entscheidung.

Wie man klein anfängt

Ein bewährtes Vorgehen beginnt nicht mit der Modellwahl, sondern mit einer Sammlung echter Fälle samt richtiger Antwort. Darauf lässt man zuerst ein großes Modell laufen, um zu sehen, was erreichbar ist, und dann ein oder zwei kleine. Wie man diese Messung aufbaut, beschreibt der Eintrag zur Evaluation von KI-Systemen.

Ein konstruiertes Beispiel: Ein Händler sortiert eingehende E-Mails in sechs Kategorien. Auf hundert Testfällen trifft das große Modell fast alle, das kleine die meisten, versagt aber bei Mails, in denen Reklamation und Bestellung gemischt sind. Dann muss man nicht das große Modell für alles nehmen. Häufig trägt eine Aufteilung: Das kleine Modell erledigt die eindeutigen Fälle und meldet, wenn es unsicher ist. Nur diese Fälle gehen an das große Modell oder an einen Menschen. So bezahlt man die teure Rechenleistung nur dort, wo sie einen Unterschied macht.

Quellen

  1. Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Abdin et al., Microsoft, arXiv, 2024
  2. Small Language Models are the Future of Agentic AI, Belcak et al., NVIDIA Research, arXiv, 2025
  3. Gemma 4 model overview, Google AI for Developers
  4. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, DeepSeek-AI, arXiv, 2025
  5. Model optimization, OpenAI, API-Dokumentation
  6. Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.