Was ist Sprachtranskription?

Sprachtranskription, auch automatische Spracherkennung oder ASR genannt, wandelt gesprochene Audiosignale in geschriebene Sprache um. Ergebnisse können Zeitstempel, Konfidenzwerte, erkannte Sprachen, Satzzeichen und Sprecherkennzeichnungen enthalten.

Viele Spracherkennungssysteme wandeln die Wellenform zunächst in Kurzzeit-Spektralmerkmale um und sagen dann die dazu wahrscheinlichste Folge von Text-Tokens voraus. Traditionelle Systeme trainierten separate Akustik-, Aussprache- und Sprachmodelle. Viele aktuelle Systeme trainieren dagegen ein einziges neuronales End-to-End-Netz, das Sprache direkt auf Text abbildet. Whisper tastet Audio beispielsweise auf 16 kHz um, berechnet ein Log-Mel-Spektrogramm und decodiert Text aus Zeitfenstern von 30 Sekunden. Längere Aufnahmen werden daher Fenster für Fenster transkribiert. Satzzeichen, Groß- und Kleinschreibung, Wortzeitangaben und Angaben zu erkannten Sprachen können zusammen mit dem Transkript erzeugt werden, sind aber separate Ausgaben mit jeweils eigener Unsicherheit. Die Spracherkennung ermittelt, was gesagt wurde. Festzustellen, wer es gesagt hat, ist eine andere Aufgabe: die Sprecherdiarisierung, die sich nachträglich damit kombinieren lässt. Dienste wie Amazon Transcribe unterscheiden außerdem zwischen der Batch-Transkription gespeicherter Dateien und der Streaming-Transkription von Live-Audio. Die beiden Modi können unterschiedliche Formate und Sprachen unterstützen.

Wie sollte ich Spracherkennungssysteme vergleichen? Die Standardmetrik ist die Wortfehlerrate (WER): Ersetzungen, Auslassungen und Einfügungen geteilt durch die Anzahl der Wörter in einem Referenztranskript. Niedrigere Werte sind also besser, und 0 bedeutet eine vollständige Übereinstimmung. Die WER zählt auch harmlose Unterschiede bei Satzzeichen, verkürzten Wortformen oder Zahlenformaten, sofern nicht beide Texte zuvor normalisiert werden. Die Whisper-Autoren beobachteten bei mehreren Datensätzen allein durch Normalisierung eine Verringerung der WER um bis zu 50 Prozent. Die Werte unterscheiden sich zudem stark zwischen Datensätzen. Vergleichen Sie Kandidaten daher anhand Ihrer eigenen Aufnahmen mit denselben Referenztranskripten und derselben Normalisierung.
Kann ein Transkript Wörter enthalten, die niemand gesagt hat? Bei einigen Modellen ja. Die Whisper-Autoren nennen Wiederholungsschleifen, ausgelassene Wörter am Anfang oder Ende eines Segments und vollständig erfundene Inhalte ohne Bezug zum Audio als bekannte Fehlerbilder, insbesondere bei langen Aufnahmen. Eine unabhängige Studie verarbeitete im Jahr 2023 Interviewausschnitte von Sprechern mit und ohne Aphasie über die Whisper API. Die Ausschnitte waren jeweils etwa einen Satz lang und dauerten durchschnittlich 10 Sekunden. Die Studie fand in ungefähr 1 Prozent der Ausschnitte erfundene Formulierungen oder Sätze, häufiger bei Sprechern mit längeren Pausen. Als die betroffenen Ausschnitte mit Diensten von Google, Amazon, Microsoft, AssemblyAI und RevAI verarbeitet wurden, fand sie keine vergleichbaren Fälle. Diese Rate gilt pro kurzem Ausschnitt und sagt daher nicht voraus, wie häufig eine einstündige Aufnahme betroffen ist. Prüfen Sie lange Pausen und Passagen ohne Sprache. In der WhisperX-Evaluierung verringerte die Segmentierung des Audios durch Sprachaktivitätserkennung vor dem Decodieren Halluzinationen und Wiederholungen.
Erhalte ich für jedes Wort eine Zeitangabe? Nicht von jedem Spracherkennungssystem, und die Präzision variiert. Whisper sagt Anfangs- und Endzeiten für ganze Segmente voraus. Wortzeitangaben werden anschließend aus Aufmerksamkeitsgewichten abgeleitet. Die WhisperX-Autoren maßen dabei eine geringere Präzision als beim Forced Alignment mit einem separaten Phonemmodell. Die Speech-to-Text v1 API von Google setzt Wortzeitpositionen nur, wenn enableWordTimeOffsets den Wert true hat, und bezeichnet die Funktion als experimentell mit variierender Genauigkeit. Amazon Transcribe liefert dagegen Anfangs- und Endzeiten für jedes Wort. Segmentzeitangaben reichen aus, um ein Transkript zu durchsuchen oder zu einer Passage zu springen. Wortweise Hervorhebungen und transkriptbasierte Bearbeitung benötigen Zeitangaben auf Wortebene. Dateien für allgemeine und barrierefreie Untertitel werden pro Phrase mit Zeitangaben versehen: Die W3C-Leitlinien beschreiben Untertitel mit einer oder zwei Zeilen, jeweils mit dem Zeitpunkt, zu dem die Phrase angezeigt wird.
Kann ich anhand von Konfidenzwerten entscheiden, was überprüft werden muss? Erst nachdem Sie Schwellenwerte mit Ihrem eigenen Audio getestet haben. Amazon Transcribe liefert für jedes Wort einen Konfidenzwert. Laut Referenz der Speech-to-Text v1 API von Google ist jedoch weder garantiert, dass ihr Konfidenzwert genau ist, noch dass er überhaupt ausgegeben wird. Außerdem ist 0.0 ein Kennwert dafür, dass der Wert nicht gesetzt wurde, und bedeutet nicht, dass das Wort falsch ist. Jeder Anbieter berechnet seinen eigenen Wert. Ein auf ein Spracherkennungssystem abgestimmter Schwellenwert sollte daher nicht für ein anderes übernommen werden.

Nutzen Sie Transkripte für Untertitel, Suche, Zusammenfassungen, Barrierefreiheit, Moderation oder Analysen. Geräusche, Akzente, überlappende Sprache oder Fachvokabular können die Genauigkeit verringern. Ergebnisse, die wichtige Entscheidungen beeinflussen, müssen daher überprüft werden.

Vor dem Produktiveinsatz

Prüfen Sie die Eingabeempfehlungen des Spracherkennungssystems, bevor Sie Schritte zur Audiobereinigung oder zum erneuten Encoding hinzufügen. Google empfiehlt verlustfreies FLAC- oder LINEAR16-Audio mit der ursprünglichen Abtastrate der Aufnahme und weist darauf hin, dass Rauschunterdrückung vor der Erkennung die Genauigkeit in der Regel verringert. Auch Amazon Transcribe empfiehlt verlustfreie Formate.
Wenn Sie benutzerdefiniertes Vokabular oder Phrasengewichtungen für Namen und Fachbegriffe angeben, testen Sie erneut mit Aufnahmen, die diese Begriffe nicht enthalten. Die Google-Dokumentation warnt davor, dass eine höhere Gewichtung dazu führen kann, dass eine Phrase im Transkript erscheint, obwohl sie nicht gesprochen wurde.
Lassen Sie Transkripte von einer Person korrigieren, bevor Sie sie als Untertitel veröffentlichen. Laut den W3C-Leitlinien zur Barrierefreiheit erfüllen automatisch erzeugte Untertitel die Anforderungen an Barrierefreiheit nur, wenn ihre vollständige Richtigkeit bestätigt wurde. Die Prüfung umfasst mehr als die erkannten Wörter: Das W3C beschreibt Untertitel als synchronisierten Text für Sprache und für nichtsprachliche Audioinformationen, die zum Verständnis des Inhalts nötig sind. Die Erläuterung der WCAG-Anforderung an Untertitel ergänzt, dass sie die sprechende Person kennzeichnen.

Der Robot /speech/transcribe von Transloadit transkribiert Sprache in Audio- oder Videodateien. Sein Parameter format wählt das Ergebnis aus: json mit Wörtern samt Zeitstempeln, reines text, Untertiteldateien im Format srt oder webvtt oder meta, das das Transkript an der Datei speichert, damit spätere Steps es nutzen können.

Die Erkennung erfolgt durch den mit provider ausgewählten Anbieter. Die unterstützten Sprachen und Funktionen wie Sprecherkennzeichnungen hängen daher von diesem Anbieter ab. Die gesprochene Sprache wird je nach Anbieter mit einem anderen Parameter festgelegt (source_language oder target_language). Keiner der beiden übersetzt die Sprache. Die Robot-Dokumentation führt die aktuellen Anbieter und Parameter auf.

Entdecken Sie Transloadits Audiofunktionen

Was ist Sprachtranskription?

So funktioniert Sprachtranskription

Wichtige Fakten

Wann Sprachtranskription wichtig ist

Mit Sprachtranskription arbeiten

Vor dem Produktiveinsatz

So hilft Transloadit bei der Sprachtranskription

Quellen

Machen Sie aus Medienwissen eine funktionierende Pipeline