話者ダイアライゼーションとは?
話者ダイアライゼーションは、録音された発話を、誰が話しているかに応じて区間に分割します。話者 1 や話者 2 といったラベルを付けますが、必ずしも話者を名前で特定するわけではありません。
話者ダイアライゼーションの仕組み
話者ダイアライゼーションのパイプラインは、発話区間を検出し、声の埋め込み表現やその他の話者特徴を抽出して、同じ人物の発話と見られる区間をクラスタリングします。登録データや別の識別段階で身元情報が提供されない限り、録音内でのみ有効な匿名ラベルで「誰がいつ話したか」を示します。区間分割とクラスタリングは、別々の段階としても、一体としても実行できます。話者の割り当ては、音声だけから算出することも、後から文字起こしの出力と対応付けることもできます。結果は通常、単語ごとのタイムスタンプと統合され、話者情報付きの字幕、会議メモ、検索可能なアーカイブの作成に使われます。
要点
- 「話者 1 」は、どのファイルでも同じ人物ですか?いいえ。話者ダイアライゼーションでは、話者が誰かを事前に知る必要はありません。ラベルは互いに置き換え可能な仮の識別子なので、その録音の中でのみ意味を持ちます。録音をまたいで名前を統一するには、各録音のラベルを既知の人物に対応付ける必要があります。手作業で対応付けるか、別途、話者識別処理を行います。たとえば、分離した各話者の音声を、事前に登録した話者モデルと照合する方法があります。
- 話者の人数を知っておく必要がありますか?話者ダイアライゼーション自体は、話者数が既知であることを前提とせず、二人に限定されるものでもありません。ただし、ホスト型の文字起こし API では、通常、想定する人数の範囲や上限を指定します。たとえば Amazon Transcribe では
MaxSpeakerLabelsを、Google Cloud Speech-to-Text では話者数の最小値と最大値を指定します。ニューラル話者ダイアライゼーションモデルの中には、アーキテクチャ上、話者数に上限があるものもあります。そのため、実際に想定される最大人数でテストしてください。 - 複数の人が同時に話すとどうなりますか?発話の重なりがあると、各時間区間には一つのラベルだけが対応するという単純な前提が成り立ちません。重複発話に対応するシステムでは、互いに重ならない単一の系列ではなく、同時に存在する話者トラックを出力する場合があります。重複検出のないクラスタリング方式では、各区間に一人の話者を割り当てるため、結果の評価時に、もう一人の発話が検出漏れとして数えられることがあります。
- 話者ダイアライゼーションの精度はどう測定しますか?話者ダイアライゼーション誤り率(DER)は、発話の誤検出、検出漏れ、話者の取り違えの時間を合計し、正解データの総発話時間で割った値です。単語誤り率とは別の指標なので、文字起こしの単語が正しくても、誤った話者に割り当てられることがあります。公表されている DER の値は、テスト用の録音と評価方法によって変わります。たとえば、各話者交替の境界前後にある短い許容区間(カラー)を除外するか、重複発話区間を評価対象にするかによって異なります。数値を比較する際は、比較可能な録音を同じ設定で評価したものだけを比較してください。
話者ダイアライゼーションが重要になる場面
会議、インタビュー、ポッドキャスト、サポート通話など、話者を区別した文字起こしが必要な場合は、話者ダイアライゼーションを有効にしてください。文字起こしサービスでは、多くの場合「話者ラベル」オプションとして提供されています。ラベルが字幕ファイルには含まれず、構造化された文字起こしデータにのみ含まれる場合があるため、必要な出力形式を確認してください。その場合、話者を表示する字幕は、構造化データから生成する必要があることもあります。WebVTT の音声スパンは、スタイルシートで利用できる注釈として、キューテキストに話者名を付与します。この名前自体はキューテキストではないため、視聴者が読めるようにする必要がある場合は、キューテキストにも名前を記述してください。発話の重なり、背景雑音、音質の悪さによって精度は低下し、話者数にも左右されます。
Transloadit による話者ダイアライゼーションの支援
Transloadit の Robot /speech/transcribe は、speaker_labels が true の場合、文字起こしプロバイダーに話者の区別を要求します。max_speakers では、検出する話者数の上限を設定します。speaker_1 などのラベルは、json と meta の出力で、単語およびグループ化された区間に付与されます。一方、text 、srt 、webvtt の出力は変わりません。
話者ラベルに対応している文字起こしプロバイダーは一部に限られます。ラベルは繰り返し登場する声を示すもので、実名ではありません。対応するプロバイダーは Robot のドキュメントに記載されています。