動画合成とは?
動画合成は、マスク、ブレンド、変形、キーイング、エフェクトを使って、複数の視覚レイヤーを一つのシーケンスにまとめる処理です。レイヤーには、撮影映像、グラフィックス、テキスト、アニメーション、生成画像などを使用できます。
動画合成の仕組み
合成では、各出力時刻で画像のスタックまたはグラフを評価し、各レイヤーを共通のフレームに変換してからピクセル値を組み合わせます。マスクとマットが適用範囲を制御し、ブレンド演算子が前景と背景の相互作用を決定し、キーヤーが画像の内容から透明度を導き出します。レイヤーが空間と時間の両方で重なるため、単純な連結とは異なります。通常は、最終的な配信用エンコードより前の、編集またはレンダリングの段階で行います。
要点
- ストレートアルファとプリマルチプライドアルファを取り違えると、ブレンド時に輪郭の色が変わり、キーイングした被写体やアンチエイリアス処理したグラフィックスの周囲に、暗い縁や明るい縁が生じがちです。
- 多くのブレンド演算は、リニアライトで行うと物理的により自然な結果になります。伝達関数で符号化された値に直接適用すると、不正確なグラデーションやハローが生じることがあります。
- フレームレートやタイムベースが異なるレイヤーは、一つの出力タイムライン上でサンプリングする必要があります。そうしないと、アニメーション要素や口の動きと同期させたオーバーレイに、タイミングのずれや不均等な繰り返しが生じることがあります。
動画合成が重要になる場面
レイヤーを合成して、透かし、ローワーサード、ピクチャーインピクチャー表示、差し替え用の背景を追加します。複雑なエフェクトや高解像度の入力はレンダリングコストを増やし、色やタイミングの不一致を目立たせることがあります。