Zum Inhalt springen

Sprache und Dokumente

Sprechertrennung (Diarisierung)

Sprechertrennung, fachsprachlich Diarisierung, zerlegt eine Audioaufnahme danach, wer wann spricht, und versieht jeden Abschnitt mit einer Kennung wie „Sprecher 1“ oder „Sprecher 2“. Wer diese Personen sind, stellt sie nicht fest.

Auch: Diarisierung, Speaker Diarization, Sprecherzuordnung, Sprecherdiarisierung

Das Transkript einer Projektbesprechung ohne Sprecherangaben ist ein langer Textblock. Man liest „Das schaffen wir bis Freitag“ und weiß nicht, wer das zugesagt hat. Bei einem Kundentelefonat ist es ähnlich: Ob „Ich kündige zum Monatsende“ vom Kunden stammt oder ob die Servicekraft eine Formulierung des Kunden wiederholt, entscheidet über den nächsten Schritt. Sprechertrennung liefert die fehlende Angabe. Sie beantwortet die Frage, die die Fachliteratur knapp mit „Wer hat wann gesprochen?“ umschreibt.

Park und Kollegen beschreiben in ihrem Überblick von 2021, dass die Diarisierung ursprünglich entwickelt wurde, um die Spracherkennung an einzelne Sprecher anzupassen, und sich seither zu einer eigenständigen Funktion entwickelt hat. Heute ist sie bei den großen Spracherkennungsdiensten eine Option, die man beim Aufruf zuschaltet.

Trennen, erkennen, identifizieren

Drei Begriffe werden oft verwechselt, und die Unterschiede haben rechtliche Folgen.

Funktion Frage Ergebnis
Sprechertrennung Welche Abschnitte stammen von derselben Stimme? „Sprecher 1“, „Sprecher 2“ je Abschnitt
Sprecheridentifikation Welche bekannte Person spricht hier? ein Name aus einer hinterlegten Liste
Sprecherverifikation Ist das wirklich die Person, die sie zu sein behauptet? ja oder nein

Die Sprechertrennung arbeitet nur innerhalb einer Aufnahme. Google beschreibt die Funktion seines Dienstes so, dass jedes Wort eine Nummer erhält und Wörter derselben Stimme dieselbe Nummer tragen. Microsoft nummeriert die Sprecher bei der schnellen Transkription ebenfalls fortlaufend durch. In der nächsten Aufnahme beginnt die Zählung von vorn, und „Sprecher 1“ kann dann jemand anderes sein.

Wie eine Aufnahme zerlegt wird

Die meisten Systeme arbeiten in mehreren Schritten. Bredin und Kollegen haben sie 2019 für die Open-Source-Bibliothek pyannote.audio als einzelne Bausteine beschrieben, die sich kombinieren und gemeinsam trainieren lassen:

  • Sprachaktivität erkennen. Wo wird überhaupt gesprochen, wo ist Stille, Musik oder Hintergrundlärm?
  • Sprecherwechsel finden. An welchen Stellen beginnt eine andere Stimme?
  • Überlappungen erkennen. Wo sprechen zwei Personen gleichzeitig?
  • Stimmprofile berechnen. Für jeden Abschnitt entsteht ein Zahlenvektor, der die Stimme beschreibt, ähnlich einem Embedding für Text.
  • Gruppieren. Abschnitte mit ähnlichen Stimmprofilen werden demselben Sprecher zugeordnet.

Kombiniert mit der Spracherkennung entsteht daraus ein Transkript, in dem jede Äußerung einem Sprecher zugeordnet ist. Die beiden Schritte sind aber unabhängig: Ein fehlerfreies Transkript kann falsch zugeordnet sein und umgekehrt.

Wie man den Fehler misst

Der übliche Maßstab ist die Diarisierungsfehlerrate, englisch Diarization Error Rate (DER). Park und Kollegen beschreiben sie als Summe aus drei Fehlerarten: Sprache, wo keine ist, übersehene Sprache und verwechselte Sprecher, bezogen auf die gesamte Sprechzeit.

Wie stark die Fehlerrate vom Material abhängt, zeigen die Angaben, die das pyannote-Projekt für seine frei verfügbare Pipeline veröffentlicht. Auf rund einem Dutzend öffentlicher Testsammlungen reichen die Werte von 8,9 bis knapp 47 Prozent (Angaben vom September 2025). Für CALLHOME, eine Sammlung von Telefonaten, nennt das Projekt 26,7 Prozent, die höchsten Werte für Videoaufnahmen aus dem Alltag. Für den kostenpflichtigen Dienst desselben Anbieters sind die Werte niedriger, das Gefälle zwischen den Sammlungen bleibt. Das sind Herstellerangaben auf Forschungsdaten. Für eigene Aufnahmen hilft nur eine Stichprobe, bei der ein Mensch die Sprecher von Hand zuordnet.

Woran sie scheitert

Gleichzeitiges Sprechen. Wo zwei Personen sich ins Wort fallen, muss das System einen Abschnitt zwei Stimmen zuordnen. Das gelingt schlechter als die Zuordnung klarer Redebeiträge.

Kurze Einwürfe. Ein „ja“, „genau“ oder „Moment“ ist zu kurz für ein verlässliches Stimmprofil. Solche Einwürfe landen oft beim falschen Sprecher.

Ähnliche Stimmen und wechselnde Bedingungen. Zwei Kollegen mit ähnlicher Stimme werden leichter verwechselt. Umgekehrt kann eine Person, die sich vom Mikrofon wegdreht, als neuer Sprecher gelten.

Die falsche Sprecherzahl. Die Systeme müssen schätzen, wie viele Personen beteiligt sind. Deshalb fragen die Dienste danach: Google erwartet eine Mindest- und Höchstzahl, Microsoft bei der schnellen Transkription eine Höchstzahl zwischen 2 und 35. Wer diese Angaben passend zur Situation setzt, verbessert das Ergebnis.

Die einfachste Trennung ist eine getrennte Aufnahme

Vor jeder Diarisierung lohnt die Frage, ob man sie überhaupt braucht. Viele Telefonanlagen können Anrufer und Mitarbeitende auf getrennten Kanälen aufzeichnen. Dann ist die Zuordnung eindeutig, ohne dass ein Modell raten muss. Microsoft unterscheidet beides ausdrücklich: Mehrkanalverarbeitung und Diarisierung lassen sich bei der schnellen Transkription nicht kombinieren, der Dienst unterstützt keine Diarisierung über mehrere Kanäle. Für Telefonate mit zwei Beteiligten ist die Kanaltrennung fast immer die bessere Wahl. Die Diarisierung bleibt für Besprechungen in einem Raum, Videokonferenzen mit gemischter Tonspur und Aufnahmen mit einem einzelnen Mikrofon.

Von Nummern zu Namen

Für ein Protokoll will man „Frau Janssen“ lesen, nicht „Sprecher 2“. Dafür gibt es zwei Wege, und sie unterscheiden sich datenschutzrechtlich deutlich.

Der unkritische Weg nutzt den Inhalt oder die Umgebung. Die Kanäle sind bekannt, die Teilnehmerliste der Videokonferenz liegt vor, oder jemand stellt sich vor. Ein Sprachmodell kann aus „Hier ist Janssen aus dem Einkauf“ den Namen ableiten und einen Menschen bitten, die Zuordnung zu bestätigen.

Der andere Weg vergleicht Stimmen mit hinterlegten Stimmprofilen bekannter Personen. Das ist Sprecheridentifikation. Die DSGVO definiert in Art. 4 Nr. 14 biometrische Daten als mit speziellen technischen Verfahren gewonnene Daten zu physischen, physiologischen oder verhaltenstypischen Merkmalen, die die eindeutige Identifizierung einer Person ermöglichen oder bestätigen. Ein dauerhaft gespeichertes Stimmprofil, mit dem Beschäftigte wiedererkannt werden, fällt nach dieser Definition darunter, und für die Verarbeitung biometrischer Daten zur eindeutigen Identifizierung gelten nach Art. 9 DSGVO besonders strenge Voraussetzungen. Vor einer solchen Lösung gehört eine Datenschutz-Folgenabschätzung auf den Tisch.

Was man mit sauber getrennten Sprechern gewinnt

Erst mit Sprecherangaben wird aus einem Gesprächstranskript verwertbares Material. Aus einer Besprechung lassen sich Aufgaben mit Verantwortlichen ziehen, aus einem Servicegespräch die Angaben des Kunden getrennt von den Erklärungen der Servicekraft. Das ist die Voraussetzung für eine zuverlässige Informationsextraktion, etwa wenn eine Kundennummer nur dann übernommen werden soll, wenn der Kunde sie genannt hat.

Gleichzeitig macht die Zuordnung Auswertungen über Einzelne möglich, und dort liegen Grenzen. Wer die Redeanteile der Servicekräfte auswertet, beobachtet ihre Arbeit. Wer aus ihrer Stimme Emotionen ableitet, bewegt sich in einem Bereich, den die KI-Verordnung am Arbeitsplatz verbietet; die Abgrenzung zur Stimmungsanalyse von Text beschreibt der Eintrag zur Sentiment-Analyse. Die Technik der Sprechertrennung ist harmlos. Was man danach mit den getrennten Spuren macht, ist es nicht immer.

Quellen

  1. A Review of Speaker Diarization: Recent Advances with Deep Learning, Park et al., arXiv (Computer Speech & Language), 2021
  2. pyannote.audio: neural building blocks for speaker diarization, Bredin et al., arXiv (ICASSP 2020), 2019
  3. pyannote-audio, pyannote, GitHub
  4. Verwenden der API für schnelle Transkription, Speech-Dienst, Microsoft Learn
  5. Detect different speakers in an audio recording, Google Cloud, Speech-to-Text-Dokumentation
  6. Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Amtsblatt der Europäischen Union, EUR-Lex, 2016

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.