FFmpeg と Node.js で音声波形動画を作成する

Transloadit がオープンソースプロジェクトを愛していることは、今さら隠すまでもありません。これまでに Uppy や tus のような意欲的なプロジェクトをいくつも公開してきましたし、創業者たちもオープンソースプロジェクトへの貢献がきっかけで出会いました。また、動画エンコーディングの中核を担う FFmpeg をはじめ、内部では多くのオープンソースツールを活用しています。
FFmpeg(Fast Forward MPEG)は、音声ファイルや動画ファイルをトランスコードできるコマンドラインユーティリティです。形式変換、サンプルレートや解像度の変更など、さまざまな処理に対応できます。FFmpeg は当社の動画・音声エンコーディングサービスを支えており、それぞれで複数の Robot を利用できます。
通常、Transloadit は FFmpeg を内部で設定し、スケールさせることで、一般的なユースケースに対応しやすい強力な抽象化を提供します。ただし、用意された道筋から外れた処理を行いたい場合も対応できます。これらのカテゴリの Robot では
ffmpeg パラメーターが公開されており、FFmpeg と直接やり取りして、既定機能の範囲を超えた機能を実装できます。
今日の目的
この記事では、FFmpeg パラメーターと Node.js SDK を使って、Transloadit で実現できる、より創造的なトランスコードの選択肢に注目します。すでに FFmpeg を使って 動画ストリームを削除する (English)、サンプルレートを変更する (English)、カスタムエンコーディングプリセットを作成する (English) デモがあります。今回は、入力した音声トラックに合わせて時間とともに横方向へスクロールする音声波形画像を生成する Assembly の作り方を紹介します。
このレシピは JSON ドキュメントとして記述します。あとで再利用できるよう、Template として保存します。
それでは Template を作成しましょう。Transloadit アカウントの Template セクションに移動し、「New Template」をクリックして、次の JSON を保存してください。
まず Amazon S3 の Template 認証情報 を作成し、以下の MY_S3_CREDENTIALS を保存済みの名前に置き換えてください。必要なバケット権限については S3 セットアップガイド を参照してください。S3 Block Public Access を有効にしたプライベートバケットを使用し、ACL ヘッダーや grant ヘッダーは指定しないでください。bucket-default の設定は生成される ACL ヘッダーを省略するだけであり、バケットをプライベートにしたり、そのポリシーや指定済みの ACL/grant ヘッダーを上書きしたりするものではありません。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"waveformed": {
"robot": "/audio/waveform",
"use": ":original",
"result": true,
"width": 8000,
"height": 600,
"background_color": "ffffffff",
"outer_color": "1974c7aa",
"center_color": "1974c7aa",
"format": "image"
},
"merged": {
"robot": "/video/merge",
"use": {
"steps": [
{
"name": "waveformed",
"as": "image"
},
{
"name": ":original",
"as": "audio"
}
]
},
"result": true,
"ffmpeg_stack": "v7",
"preset": "ipad-high",
"width": "${file.meta.width}",
"height": "${file.meta.height}"
},
"encode_effect": {
"robot": "/video/encode",
"use": "merged",
"ffmpeg_stack": "v7",
"preset": "empty",
"ffmpeg": {
"vf": "crop=w=800:h=${file.meta.height}:x='(${file.meta.width}-800)*t/${file.meta.duration}':y=0",
"t": "${file.meta.duration}"
}
},
"exported": {
"use": "encode_effect",
"robot": "/s3/store",
"credentials": "MY_S3_CREDENTIALS",
"acl": "bucket-default"
}
}
}
では、内容を順に見ていきましょう。最初の Step は上記の ":original" で、この例では Node.js SDK で送信するファイルを受け取るためのものです。特に意外な点はありません。
2 つ目の Step "waveformed" では、波形画像を生成します。background_color や
outer_color(波形の外側の色)のようなオプションを設定できます。ここではシンプルに、背景を白、波形を青にします。この Step
では、生成する波形の width を通常よりかなり大きく設定していることに気付くかもしれません。これについては後ほど詳しく説明しますが、重要なのは、幅が大きいほどスクロール時の遷移効果がより滑らかになることです。
3 つ目の Step は "merged" です。Step 名のとおり、新しく生成した波形画像と元の入力音声ファイルを結合して、新しい mp4 動画ファイルを生成します。use パラメーター内では、"name"、"as" という命名規則を使えば問題ありません。続いて Assembly Variables を使い、width と height のパラメーター値を入力画像と同じ寸法に設定します。
続いて、おもしろい部分に入ります。"encode_effect"
Step では少し変わった処理を行います。ここでは、完全に結合した波形動画ファイルを
/video/encode Robot に渡します。FFmpeg パラメーターを使うことで FFmpeg のコマンドラインユーティリティと直接やり取りでき、ここでは "vf" フラグを使って動画エフェクトを生成します。詳しく見ていきましょう。
"crop=w=800:h=${file.meta.height}:x='(${file.meta.width}-800)*t/${file.meta.duration}':y=0"
ここでは crop フィルターを使って、最終結果のサイズを調整します。waveformed Step では総幅を 8000 に設定したので、スクロール中に画像全体の 10% だけを表示する想定で、ターゲット幅に
800 を指定しています。ここでも
Assembly Variables の 1 つを使って、ターゲット高さを入力ファイルの高さに設定しています。さらに、今回は左から右への移動のみなので、y を
0 に設定します。x では、式によってクロップウィンドウの水平方向の位置を制御し、画像の左端から動画が始まるようにしています。t では、クロップされた画像が画像の反対側の端に到達するまでの時間を評価します。この値は Assembly に渡す音声ファイルごとに異なるため、ここでも
Assembly Variable を使い、入力ファイルのメタデータから常に正しい時間値を取得できるようにしています。
ただし、FFmpeg パラメーター内で使っているフラグはこれだけではありません。加えて
t フラグも使っています。これは生成されるファイルの長さを設定するだけです。このフラグには、先ほどの vf フラグで使ったものと同じ値を指定していることが分かるはずです。
最後に、/s3/store Robot を使って結果をエクスポートすれば完了です。
はじめに
これで Template の準備ができたので、次は SDK 連携を設定します。このデモでは Node.js を使いますが、ほかの 利用可能な SDK にも容易に置き換えられます。ただし、その前に Transloadit の Node.js SDK をインストールする必要があります。プロジェクトフォルダーで npm を初期化したら、次のコマンドを実行してください。
npm i transloadit@4 --save
Node.js 20 以降を使用し、Node が ES module として読み込めるように、完全なプログラムを
waveform-video.mjs として保存してください。以下の認証情報を設定したあと、node waveform-video.mjs で実行します。
以下ではコードを複数の断片に分けて説明します。各断片を面倒にコピーしなくてもよいように、最後にそのまま貼り付けて使える完全版も用意しています。
まず、Transloadit ライブラリをインポートします。
import { Transloadit } from 'transloadit'
次に、Transloadit クライアントを設定します。Workspace の Auth Key と Auth Secret を使って、TRANSLOADIT_AUTH_KEY と TRANSLOADIT_SECRET_KEY をサーバー環境に設定してください。これらはストレージ用の Template 認証情報ではありません。このコードは必ず手元のコンピューター、または信頼できるサーバー上で実行し、ブラウザーでは実行しないでください。
const transloadit = new Transloadit({
authKey: process.env.TRANSLOADIT_AUTH_KEY,
authSecret: process.env.TRANSLOADIT_SECRET_KEY,
})
次に、Assembly で使用する音声ファイルを定義します。使用したい任意の音声ファイルを作業ディレクトリーに配置し、filePath と
fieldName の両方の変数も宣言してください。これらは
createAssembly の files オプションに渡します。
const filePath = './joakim_karud-rock_angel.mp3'
const fieldName = 'my_file'
ここから、保存済みの Template ID を使って Assembly を作成します。SDK は Promise を返します。waitForCompletion が待機するのはアップロードだけではなく、処理の完了までです。次の断片は、以下の完全なプログラムに示すように、async 関数の中に入ります。
const opts = {
files: { [fieldName]: filePath },
waitForCompletion: true,
params: {
template_id: 'YOUR_TEMPLATE_ID',
},
}
const result = await transloadit.createAssembly(opts)
console.log(result)
コードがすべてそろったので、プログラムを実行できます。以下が完全なプログラムです。
import { Transloadit } from 'transloadit'
async function main() {
const transloadit = new Transloadit({
authKey: process.env.TRANSLOADIT_AUTH_KEY,
authSecret: process.env.TRANSLOADIT_SECRET_KEY,
})
const filePath = './joakim_karud-rock_angel.mp3'
const fieldName = 'my_file'
const result = await transloadit.createAssembly({
files: { [fieldName]: filePath },
waitForCompletion: true,
params: { template_id: 'YOUR_TEMPLATE_ID' },
})
console.log(result)
}
main().catch(() => {
console.error('Waveform video generation failed.')
process.exitCode = 1
})
音声ファイルには、これまで多くの デモ (English) で頻繁に使ってきたトラック「Joakim karud-rock angel」を使用しました。同じファイルを使いたい場合は、下記の GitHub リポジトリーで入手できます。
プログラムの実行が完了したら、S3 にログインして最終結果を確認できます。
ご覧のとおり、すべて計画どおりに進みました。ただし、さらにおもしろくできるのはここからです。FFmpeg を使えば、Assembly で使える選択肢は実質的に無限にあります。波形を縦方向にスクロールさせたり、動画を逆再生するようにトランスコードしたりしてみてはいかがでしょうか。
あるいは、ffmpeg パラメーターを使って、大きく異なる フィルター を適用することもできます。
この記事を通して、Transloadit API がいかに汎用性に優れ、ffmpeg パラメーターが、創造的で楽しいさまざまなプロジェクトを作る際にどれほど有用かをお伝えできていれば幸いです。
このプロジェクト内のアセットをダウンロードしたい場合は、以下の GitHub リポジトリー をご覧ください。