新機能:動画の自動文字起こしと字幕の追加

先日、/speech/transcribe Robot に、人の発話を認識して SRT ファイルを出力する新機能を追加しました。このファイルを使えば、動画プレーヤーに字幕を自動で表示できます。さらに、LEGO のように機能を組み合わせられる Transloadit なら、動画自体に字幕を直接焼き込めます。今回は、その方法をご紹介します。

AI は想像以上に身近な場面で使われており、それには十分な理由があります。人の作業の速度、精度、効率を大幅に高められるからです。とはいえ、複雑なモデルの学習には膨大なデータ、データのサニタイズ、ビデオカードが必要で、そのハードルの高さから、小規模な企業では AI の活用をためらうこともあります。Transloadit は、AI をより簡単に扱い、価値を生み出せるようにすることで、より多くの開発者に AI を届けることを目指しています。
これまでに、組み込むだけですぐに使える一連のAI ベースの Robot を公開してきました。AI モデルの学習方法を調べたり、モデルをトレーニングしたりする手間は一切かかりません。
今回取り上げる AI Robot は、/speech/transcribe Robot です。この Robot は、あらゆる音声ファイルや動画ファイルを読み取り、テキストファイルを自動生成するため、面倒な文字起こしを自分で行う必要がありません。多言語対応に加え、単一のパラメーターを切り替えるだけで Amazon または Google の AI を選べるなど、標準でさまざまな利点を備えています。Transloadit が内部の実装をすべて引き受け、共通のインターフェースを提供します。これをワークフローに組み込み、ほかの Robot と連携させることで、AI ボットがもたらす価値をさらに大きく高められます。個々の機能を組み合わせることで、単なる足し算を超える効果が得られます。また、3文字を変更するだけでプロバイダーを切り替えられるため、用途に最適なものをすばやく見つけられます。エラー処理や、適切なコーデック、帯域幅などでのファイル送信を気にする必要はありません。Transloadit がこれらをすべて処理し、単一の宣言的な JSON 設定で利用できるサービスとして提供します。
はじめに
この記事では、/speech/transcribe と /video/subtitle の Robot を組み合わせ、動画内の発話を文字起こしし、その出力を元の動画に直接焼き込みます。手作業のほうが良い結果になる場合もありますが、当然ながらコストも手間もかかり、実施そのものを断念せざるを得ないこともあります。当社が見てきた限り、多くの用途で、お客様は自動文字起こしを「十分な品質」と評価しています。同時にコストを大幅に削減できるため、動画の文字起こし自体が魅力的な選択肢になります。
用途の例として、ソーシャルメディアでの動画共有があります。字幕付きの動画は、字幕のない動画よりもはるかに注目を集めやすいことが実証されています。
また、文字起こしファイルを ElasticSearch などでインデックス化し、動画を検索できるようにすることもよくあります。これにより、動画のタイトルだけでなく、動画内で話された単語も検索結果にヒットします。
以下は、この 2つの機能を組み合わせるために使用した設定です。この設定を Assembly Instructions と呼びます。アカウント内の Template に保存すれば、いつでも再利用できます。各 Step を順に確認してから、実際に試してみましょう。
まず、非公開のバケット用に、s3_cred という名前の Amazon S3
Template 認証情報 を作成します。S3 Block Public Access は有効のままにし、ACL ヘッダーや grant ヘッダーは指定しないでください。以下のエクスポートでは、生成される ACL ヘッダーを省略するため、acl を bucket-default に設定しています。この設定がない場合、/s3/store のデフォルトは public-read です。非公開の動画と文字起こしを読み取るには、別途読み取り権限が必要です。返される URL 自体にはアクセス権を付与する効果はありません。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"transcribed": {
"use": ":original",
"robot": "/speech/transcribe",
"provider": "gcp",
"format": "srt",
"result": true
},
"subtitled": {
"use": {
"bundle_steps": true,
"steps": [
{
"name": ":original",
"as": "video"
},
{
"name": "transcribed",
"as": "subtitles"
}
]
},
"robot": "/video/subtitle",
"ffmpeg_stack": "v7",
"preset": "ipad-high",
"result": true
},
"exported": {
"use": ["subtitled", "transcribed"],
"robot": "/s3/store",
"credentials": "s3_cred",
"acl": "bucket-default"
}
}
}
最初の Step では、/upload/handle Robot を使います。名前のとおり、アップロードを処理します。意外性はありませんね。この Step でファイルをアップロードできます。ただし、ファイルインポートには、ほかにも多くの Robot を利用できます。
次は、2つ目の Step、"transcribed" です。ここで、先ほど紹介した AI が活躍します。provider パラメーターには API 値 "gcp" を設定していますが、"aws" という値も使用できます。また、format パラメーターの設定も必須です。今回は動画に字幕を埋め込むため、"srt" 形式を選びました。代わりに "webvtt" も使えますが、"srt" と比べた場合の利点は、今回の用途では必要ありません。
SRT ファイルを個別にエクスポートし、動画プレーヤーで字幕を重ねて表示することもできます。ただし今回は、/video/subtitle Robot を使い、生成した字幕を最初にアップロードした動画ファイルに焼き込みます。この 2つの Step を結合するには、アップロードと字幕の両方の Step を、/video/subtitle Robot の use パラメーターで、use.steps[].as という命名構文を使って参照します。
最後に、/s3/store Robot を使って、結果を Amazon S3 にエクスポートします。ただし、最初の Step と同様に、この Step も簡単に置き換えられます。ほかにも多くのエクスポート方法を用意しています。
テスト
Template のテストには、David Attenborough の素晴らしい Planet Earth シリーズから、短いクリップを使うことにしました。
ご覧のとおり、Assembly は成功しました。AI のおかげで、字幕ファイルを手作業で作成する面倒な工程は必要ありません。
このワークフローは、Uppy や Go SDK などの 21 種類の便利な SDK を使って、Web アプリ、モバイルアプリ、バックエンドサービス、コマンドラインユーティリティに組み込めます。また、JSON REST API から直接組み込むこともできます。
どのようなものを一緒に作れるか、楽しみにしています。ぜひ Twitter でお知らせください!