Zum Inhalt springen

KI-Grundlagen

Multimodale KI

Multimodale KI bezeichnet Modelle, die mehr als eine Art von Daten verarbeiten oder erzeugen, etwa Text, Bilder, gescannte Dokumente, Audio oder Video, und in einer einzigen Anfrage Zusammenhänge zwischen diesen Formen herstellen.

Auch: multimodales Modell, Multimodalität, Vision Language Model, VLM, multimodal AI

Die ersten großen Sprachmodelle konnten nur Text lesen und Text schreiben. Ein eingescannter Lieferschein musste erst durch eine Texterkennung, bevor ein Modell damit etwas anfangen konnte, und was dabei verloren ging, etwa ein Stempel, ein handschriftlicher Vermerk oder die Zuordnung einer Zahl zu ihrer Tabellenspalte, war für das Modell nicht vorhanden. Multimodale Modelle nehmen das Bild selbst entgegen. Das BSI beschreibt sie als Modelle, die mindestens zwei Formate verarbeiten, also etwa Text und Bild oder Text und Audio.

Wichtig ist die Richtung. Manche Modelle verstehen Bilder, erzeugen aber keine: Anthropic schreibt über seine Claude-Modelle ausdrücklich, dass sie Bilder interpretieren und analysieren, aber nicht erstellen oder bearbeiten können. Andere Modelle erzeugen Bilder, Sprache oder Video aus Text. Für die Automatisierung von Büroabläufen ist fast immer die erste Richtung gemeint: ein Modell, das Scans, Fotos, Bildschirmfotos oder Aufnahmen versteht und daraus Text oder strukturierte Daten macht.

Wie ein Modell ein Bild liest

Ein Modell sieht ein Bild nicht als Ganzes. Anthropic beschreibt, dass Claude Bilder in Kacheln von 28 mal 28 Pixeln zerlegt, von denen jede ein sogenanntes visuelles Token ist. Ein Bild von 1.000 mal 1.000 Pixeln ergibt so 1.296 Token. Google rechnet bei Gemini anders, aber nach demselben Grundgedanken: Ein kleines Bild bis 384 Pixel Kantenlänge kostet 258 Token, größere Bilder werden in Kacheln von 768 mal 768 Pixeln zerlegt, die jeweils 258 Token kosten. Bei neueren Gemini-Modellen legt eine Einstellung zur Auflösung fest, wie viele Token ein Bild höchstens belegt (Stand Oktober 2026). Diese Bildtoken laufen dann gemeinsam mit dem Text der Anfrage durch das Modell, sodass es beides aufeinander beziehen kann.

Dass Bild und Sprache überhaupt in einem gemeinsamen Raum zusammenfinden, geht auf Arbeiten wie CLIP zurück, das OpenAI 2021 vorgestellt hat. Das Modell lernte an 400 Millionen Paaren aus Bild und Bildunterschrift, welche Beschreibung zu welchem Bild passt. Heutige Modelle gehen weit darüber hinaus; Google etwa schreibt, Gemini sei von Grund auf multimodal angelegt. Der Kern ist geblieben: Das Modell verknüpft, was es sieht, mit dem, was es über Sprache weiß.

Eine praktische Folge hat die Kachelung. Zu große Bilder verkleinern die Anbieter vor der Verarbeitung auf eine Höchstgröße. Kleine Schrift kann dabei unleserlich werden. Anthropic empfiehlt deshalb, Bilder vorher selbst zuzuschneiden oder zu verkleinern und dabei darauf zu achten, dass wichtiger Text lesbar bleibt.

Was sich für Dokumente und Anrufe ändert

Der klassische Weg vom Papier zu Daten hat zwei Stufen: Die Texterkennung macht aus dem Bild Text, ein zweiter Schritt sucht darin die gesuchten Felder. Ein multimodales Modell kann beides in einem Durchgang erledigen und sieht dabei auch, was im reinen Text fehlt: welche Zahl in welcher Spalte steht, ob ein Kästchen angekreuzt ist, ob neben einer Position handschriftlich „fehlt“ notiert wurde. Für Belege mit wechselndem Aufbau ist das ein echter Fortschritt, und es verändert, wie man Intelligent Document Processing heute baut.

Eingang klassischer Weg multimodaler Weg
gescannte Rechnung Texterkennung, dann Feldextraktion Modell liest Bild und Felder in einem Schritt
Foto eines Typenschilds eigenes Bilderkennungsmodell trainieren Beschreibung der gesuchten Angaben im Prompt
Sprachnachricht eines Kunden Transkription, dann Auswertung je nach Modell direkte Auswertung der Aufnahme
Bildschirmfoto einer Software feste Regeln für jede einzelne Maske Modell erkennt Felder und Fehlermeldungen

Ersetzt ist der klassische Weg damit nicht. Wo es um große Mengen gleichförmiger Formulare geht oder um exakte Zeichenfolgen wie IBAN und Artikelnummern, bleiben spezialisierte Verfahren oft die verlässlichere und billigere Wahl, und häufig ist eine Kombination beider Wege am sinnvollsten. Für Audio gilt Ähnliches: Eine eigene Spracherkennung liefert ein Transkript mit Zeitstempeln, das sich prüfen und archivieren lässt, was bei der direkten Auswertung durch ein Modell nicht selbstverständlich ist.

Wo die Grenzen liegen

Anthropic listet für die Bildverarbeitung seiner Modelle eine Reihe von Grenzen auf, die sich so oder ähnlich bei allen Anbietern finden:

  • Bei schlechter Bildqualität, gedrehten oder sehr kleinen Bildern kann das Modell Fehler machen oder Inhalte erfinden.
  • Ortsangaben im Bild, etwa Koordinaten eines Feldes, sind nur ungefähr.
  • Zählen gelingt nur näherungsweise, besonders bei vielen kleinen Objekten.
  • Ob ein Bild mit KI erzeugt wurde, kann das Modell nicht verlässlich erkennen.
  • Komplexe medizinische Aufnahmen soll es ausdrücklich nicht diagnostisch auswerten.

Anthropic schließt mit einer Empfehlung, die allgemein gilt: Bildauswertungen sollen gerade bei folgenreichen Entscheidungen geprüft werden, und Aufgaben, die perfekte Genauigkeit verlangen, gehören nicht ohne menschliche Kontrolle in die Hand des Modells. Für einen Prozess heißt das, für jedes ausgelesene Feld eine Plausibilitätsprüfung vorzusehen, etwa den Abgleich der Summe mit den Einzelpositionen oder der Bestellnummer mit dem ERP.

Eine Angriffsfläche, die man nicht sieht

Wer Bilder und Audio an ein Modell gibt, öffnet einen zusätzlichen Weg für untergeschobene Anweisungen. Das BSI beschreibt, wie Angreifer Anweisungen in Dokumenten oder Webseiten verstecken, die ein Modell auswertet, etwa als weiße Schrift auf weißem Grund. In einem Bild ist das noch schwerer zu bemerken. Bagdasaryan und andere haben 2023 gezeigt, dass sich in Bildern und Tonaufnahmen gezielte, unauffällige Veränderungen unterbringen lassen, die ein multimodales Modell dazu bringen, einen vom Angreifer gewählten Text auszugeben oder seinen Anweisungen zu folgen. Der Eintrag zur Prompt Injection beschreibt, wie man sich dagegen schützt. Kurz gefasst: Was ein Modell aus einem eingehenden Dokument liest, ist Inhalt, nie Befehl, und es darf keine folgenreichen Aktionen auslösen, ohne dass eine Regel oder ein Mensch sie freigibt.

Kosten und Datenschutz

Bilder sind teurer, als sie aussehen. Anthropic rechnet selbst vor, dass ein Bild von 1.000 mal 1.000 Pixeln bei Claude Haiku 4.5 zum Preis von einem US-Dollar je Million Eingabetoken etwa 1,30 US-Dollar je tausend Bilder kostet (Stand Oktober 2026). Bei mehrseitigen Dokumenten, größeren Modellen und hoher Auflösung steigt der Betrag entsprechend. Bilder vor dem Senden auf die benötigte Größe zu bringen, ist deshalb die einfachste Stellschraube.

Ein Bild enthält zudem oft mehr, als die Aufgabe braucht: eine Unterschrift, ein Gesicht auf dem Foto eines Schadens, die Daten eines anderen Kunden auf derselben Seite. Was für die Aufgabe nicht nötig ist, sollte vor dem Aufruf abgeschnitten oder geschwärzt werden. Das senkt die Kosten und verringert, was ein externer Dienst zu sehen bekommt.

Quellen

  1. Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Bundesamt für Sicherheit in der Informationstechnik, 2025
  2. Vision, Anthropic, Claude Developer Platform
  3. Image understanding, Google, Gemini API-Dokumentation
  4. Learning Transferable Visual Models From Natural Language Supervision, Radford et al., OpenAI, arXiv, 2021
  5. Abusing Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs, Bagdasaryan et al., arXiv, 2023

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.