Was ist Sprecherdiarisierung?
Sprecherdiarisierung unterteilt aufgezeichnete Sprache in Segmente danach, wer spricht. Sie vergibt Bezeichnungen wie Sprecher 1 und Sprecher 2, identifiziert die sprechenden Personen aber nicht zwangsläufig namentlich.
So funktioniert Sprecherdiarisierung
Eine Diarisierungspipeline erkennt Sprachabschnitte, leitet Stimm-Embeddings oder andere Sprechermerkmale ab und gruppiert Segmente, die offenbar von derselben Person stammen. Die Ausgabe beantwortet mit anonymen, nur innerhalb der Aufnahme gültigen Bezeichnungen, „wer wann gesprochen hat“, sofern nicht Registrierungsdaten oder eine separate Identifizierungsstufe Identitäten liefern. Segmentierung und Gruppierung können als getrennte Stufen oder gemeinsam erfolgen. Die Sprecherzuordnung kann allein aus dem Audio berechnet oder nachträglich mit der Transkriptionsausgabe abgeglichen werden. Das Ergebnis wird üblicherweise mit Wortzeitstempeln zusammengeführt, um Untertitel mit Sprecherzuordnung, Besprechungsnotizen oder durchsuchbare Archive zu erstellen.
Wichtige Fakten
- Ist „Sprecher 1“ in jeder Datei dieselbe Person? Nein. Die Sprecherdiarisierung benötigt kein Vorwissen darüber, wer spricht. Ihre Kennzeichnungen sind austauschbare Platzhalter und haben daher nur innerhalb der jeweiligen Aufnahme eine Bedeutung. Für einheitliche Namen über mehrere Aufnahmen hinweg müssen die Kennzeichnungen jeder Aufnahme bekannten Personen zugeordnet werden, entweder manuell oder durch eine separate Sprecheridentifikation, die beispielsweise jede diarisierte Stimme mit vorab registrierten Sprechermodellen abgleicht.
- Muss ich wissen, wie viele Personen sprechen? Die Aufgabe selbst setzt keine bekannte Sprecherzahl voraus und ist nicht auf zwei Sprecher beschränkt. Gehostete Transkriptions-APIs fragen jedoch häufig nach einem erwarteten Bereich oder einer Höchstzahl, beispielsweise
MaxSpeakerLabelsbei Amazon Transcribe sowie einer Mindest- und Höchstzahl bei Google Cloud Speech-to-Text. Auch einige neuronale Diarisierungsmodelle begrenzen die Sprecherzahl durch ihre Architektur. Testen Sie daher mit Ihrer größten realistisch zu erwartenden Gruppe. - Was passiert, wenn Personen gleichzeitig sprechen? Überlappende Sprache widerspricht der einfachen Annahme, dass jedem Zeitintervall genau eine Kennzeichnung zugeordnet ist. Systeme, die Überlappungen unterstützen, können gleichzeitige Sprecherspuren statt einer einzigen exklusiven Abfolge ausgeben. Clustering-basierte Systeme ohne Überlappungserkennung weisen jedem Segment einen Sprecher zu. Dadurch kann die Sprache des anderen Sprechers bei der Bewertung des Ergebnisses als nicht erkannt gelten.
- Wie wird die Genauigkeit der Sprecherdiarisierung gemessen? Die Diarisierungsfehlerrate (DER) addiert die Dauer fälschlich erkannter Sprache, nicht erkannter Sprache und falscher Sprecherzuordnungen und teilt die Summe durch die gesamte Sprachdauer der Referenz. Sie ist von der Wortfehlerrate unabhängig. Ein Transkript mit korrekten Wörtern kann diese also dennoch dem falschen Sprecher zuordnen. Veröffentlichte DER-Werte hängen von den Testaufnahmen und den Bewertungseinstellungen ab, etwa davon, ob ein kurzes Toleranzfenster um jeden Sprecherwechsel ignoriert wird und ob überlappende Bereiche bewertet werden. Vergleichen Sie daher nur Werte für vergleichbare Aufnahmen, die mit denselben Einstellungen bewertet wurden.
Wann Sprecherdiarisierung wichtig ist
Aktivieren Sie die Sprecherdiarisierung für Besprechungen, Interviews, Podcasts oder Supportgespräche, deren Transkripte Sprecher unterscheiden müssen. Transkriptionsdienste bieten sie häufig als Option für „Sprecherkennzeichnungen“ an. Die Kennzeichnungen erscheinen möglicherweise nur in strukturierten Transkriptdaten statt in Untertiteldateien. Prüfen Sie daher das benötigte Ausgabeformat. Untertitel mit Sprecherangaben müssen dann gegebenenfalls aus den strukturierten Daten erzeugt werden. Ein WebVTT-Voice-Span versieht den Cue-Text mit dem Sprechernamen als Annotation, die Stylesheets nutzen können. Der Name gehört selbst nicht zum Cue-Text. Schreiben Sie ihn daher auch in den Cue-Text, wenn Zuschauer ihn lesen sollen. Überlappende Sprache, Hintergrundgeräusche und schlechte Audioqualität verringern die Genauigkeit. Sie hängt außerdem von der Sprecherzahl ab.
So hilft Transloadit bei der Sprecherdiarisierung
Der Robot /speech/transcribe von Transloadit fordert den Transkriptionsanbieter auf, Sprecher zu unterscheiden, wenn speaker_labels auf true gesetzt ist. Der Parameter max_speakers legt die Höchstzahl der zu erkennenden Sprecher fest. Kennzeichnungen wie speaker_1 werden in der Ausgabe in den Formaten json und meta Wörtern und gruppierten Segmenten zugeordnet, während die Ausgabe in den Formaten text, srt und webvtt unverändert bleibt.
Nur einige Transkriptionsanbieter unterstützen Sprecherkennzeichnungen. Diese kennzeichnen wiederkehrende Stimmen, keine echten Namen. Die Robot-Dokumentation führt die unterstützten Anbieter auf.
Quellen
- Park et al.: Überblick über die Sprecherdiarisierung: Aktuelle Fortschritte mit Deep Learning
- Fujita et al.: Neuronale End-to-End-Sprecherdiarisierung mit Selbstaufmerksamkeit
- pyannote.metrics-Referenz: Diarisierungsfehlerrate, Toleranzfenster und Optionen für Überlappungen
- Amazon Transcribe-Entwicklerhandbuch: Sprecher unterscheiden (Diarisierung)
- Google Cloud Speech-to-Text: Verschiedene Sprecher in einer Audioaufnahme erkennen
- W3C WebVTT: Voice-Spans zur Kennzeichnung der sprechenden Person in einem Cue