Zum Inhalt springen

KI-Grundlagen

Embedding

Ein Embedding ist eine lange Reihe von Zahlen, die ein Modell aus einem Text, Bild oder anderen Inhalt berechnet, sodass Inhalte mit ähnlicher Bedeutung ähnliche Zahlenreihen erhalten. So lässt sich inhaltliche Nähe berechnen, auch wenn keine Wörter übereinstimmen.

Auch: Vektoreinbettung, Einbettung, Text Embedding, Vektorrepräsentation

Computer können Wörter vergleichen, aber nicht verstehen, dass „Lieferverzug“ und „die Ware ist noch nicht da“ dasselbe Problem beschreiben. Ein Embedding schließt diese Lücke. Ein dafür trainiertes Modell liest einen Text und gibt eine Liste von Zahlen aus, einen Vektor. OpenAI beschreibt Embeddings als Vektoren aus Gleitkommazahlen, deren Abstand zueinander angibt, wie verwandt zwei Texte sind: Kleiner Abstand bedeutet große inhaltliche Nähe.

Man kann sich das wie eine Landkarte mit sehr vielen Richtungen vorstellen. Jeder Text bekommt einen Punkt darauf. Texte über Reklamationen liegen beieinander, Texte über Urlaubsanträge liegen anderswo, und das unabhängig davon, welche Wörter sie im Einzelnen verwenden.

Bedeutung als Position im Raum

Die Grundidee ist älter als die heutigen Sprachmodelle. Mikolov und Kollegen bei Google stellten 2013 ein Verfahren vor, das jedem Wort einen Vektor zuordnete, gelernt aus der Frage, in welcher Umgebung ein Wort typischerweise vorkommt. Wörter mit ähnlichem Gebrauch landeten nahe beieinander, und manche Beziehungen zwischen Wörtern zeigten sich sogar als gleichbleibende Richtungen im Raum.

Heutige Modelle berechnen Embeddings nicht mehr nur für einzelne Wörter, sondern für ganze Sätze, Absätze oder Dokumente, und bei Google inzwischen auch für Bilder, Audio, Video und PDFs. Die Vektoren sind lang: OpenAI gibt für seine beiden aktuellen Textmodelle standardmäßig 1.536 beziehungsweise 3.072 Zahlen je Text an, Google für sein Modell ebenfalls 3.072 (Stand Oktober 2026). Beide Anbieter erlauben, kürzere Vektoren anzufordern. Das spart Speicher und Rechenzeit, kostet aber etwas Genauigkeit.

Ein Embedding ist dabei etwas anderes als ein Token. Token sind die Stücke, in die ein Sprachmodell einen Text zerlegt. Ein Embedding ist das Ergebnis, eine verdichtete Darstellung der Bedeutung. Und ein Embedding-Modell erzeugt keinen Text. Es antwortet nicht, es ordnet ein.

Wofür Unternehmen Embeddings nutzen

OpenAI nennt als Einsatzzwecke unter anderem Suche, Gruppierung ähnlicher Texte, Empfehlungen, das Erkennen von Ausreißern und Klassifikation. Im Unternehmensalltag sind vor allem drei davon wichtig:

  • Suche nach Bedeutung. Eine semantische Suche findet die passende Stelle im Handbuch auch dann, wenn die Frage ganz andere Wörter verwendet als der Text.
  • Wissen für Sprachmodelle. Bei Retrieval Augmented Generation werden Dokumente vorab in Abschnitte zerlegt und als Embeddings gespeichert. Zu jeder Frage werden die nächstgelegenen Abschnitte gesucht und dem Sprachmodell mitgegeben.
  • Zuordnen und Gruppieren. Eingehende Anfragen lassen sich der ähnlichsten bekannten Kategorie zuordnen, doppelte Tickets erkennen oder große Mengen Freitext nach Themen sortieren.

Gespeichert und durchsucht werden die Vektoren meist in einer Vektordatenbank, die genau auf diese Abstandssuche ausgelegt ist.

Wo die Ähnlichkeit in die Irre führt

Ein Embedding misst inhaltliche Nähe, nicht Richtigkeit und nicht Relevanz im fachlichen Sinn. Zwei Abschnitte über Kündigungsfristen liegen nah beieinander, auch wenn der eine aus einem veralteten und der andere aus dem gültigen Vertrag stammt. Zwei Sätze, die sich nur in einer Verneinung unterscheiden, können ebenfalls ähnliche Vektoren erhalten. Die Suche liefert also Kandidaten, keine Wahrheit. Gute Systeme ergänzen sie deshalb um Filter nach festen Merkmalen wie Gültigkeitsdatum, Abteilung oder Kunde.

Viel hängt auch davon ab, was überhaupt eingebettet wird. Ein ganzes Dokument als ein einziger Vektor verwischt die Unterschiede zwischen seinen Abschnitten. Zu kleine Abschnitte verlieren ihren Zusammenhang. Wie man Texte sinnvoll zerlegt, beschreibt der Eintrag zum Chunking.

Was im Betrieb zu beachten ist

Bindung an ein Modell. Embeddings verschiedener Modelle sind nicht vergleichbar. Google schreibt ausdrücklich, dass sich Vektoren eines Modells nicht direkt mit denen eines anderen vergleichen lassen und beim Wechsel alle vorhandenen Daten neu eingebettet werden müssen. Für einen großen Dokumentenbestand ist das ein eigener Arbeitsschritt mit eigenen Kosten. Die Wahl des Embedding-Modells ist deshalb eine längerfristige Entscheidung als die Wahl des Sprachmodells, das die Antworten formuliert.

Kosten. Abgerechnet wird nach verarbeiteter Textmenge. Der Bestand wird einmal eingebettet, danach nur neue oder geänderte Dokumente und jede Suchanfrage. Hinzu kommt der Speicher für die Vektoren, der bei großen Beständen und langen Vektoren ins Gewicht fallen kann.

Sprache. Google gibt für sein aktuelles Modell Unterstützung für mehr als 100 Sprachen an. Ob ein Modell deutsche Fachsprache gut abbildet, zeigt trotzdem erst ein Test mit eigenen Dokumenten und echten Suchanfragen.

Embeddings sind keine Verschlüsselung

Es liegt nahe, eine Zahlenreihe für unlesbar zu halten. Das BSI warnt vor genau diesem Trugschluss: Die Speicherung als Embedding suggeriere eine gewisse Sicherheit, doch Angreifer mit Zugriff auf die Vektoren können ein Modell trainieren, das den ursprünglichen Text rekonstruiert. Morris und Kollegen haben 2023 gezeigt, dass sich auf diese Weise 92 Prozent kurzer Texte mit 32 Token exakt wiederherstellen ließen, und in einem Versuch mit klinischen Notizen vollständige Namen zurückgewonnen.

Für den Datenschutz folgt daraus eine einfache Regel: Ein Vektor aus einem Text mit personenbezogenen Daten ist so schutzbedürftig wie der Text selbst. Das gilt für die Frage, wo die Vektordatenbank betrieben wird, wer darauf zugreifen darf und wie Einträge gelöscht werden, wenn das zugrunde liegende Dokument gelöscht werden muss.

Quellen

  1. Vector embeddings, OpenAI, API-Dokumentation
  2. Embeddings, Google, Gemini API-Dokumentation
  3. Efficient Estimation of Word Representations in Vector Space, Mikolov et al., Google, arXiv, 2013
  4. Text Embeddings Reveal (Almost) As Much As Text, Morris et al., Cornell University, arXiv, 2023
  5. Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.