フレーム補間とは?
フレーム補間は、画像内容の時間的な変化を推定して、既存の動画フレーム間に中間フレームを作る処理です。単純なブレンドから動きに基づく合成まで、さまざまな手法があります。
フレーム補間の仕組み
補間では、時刻情報を持つ二つ以上のフレームを評価し、撮影されていないタイムスタンプの画像を合成します。基本的なブレンドは近接する画像を混ぜ合わせますが、動き補償を用いる手法では軌跡を推定し、目標時刻に合わせて画像内容を変形します。この処理は時間方向のサンプリングを変えますが、ソースに存在しない出来事を観測することはできません。通常はデコードとケイデンス解析の後に配置し、続いて必要な出力タイミングに合わせてエンコードします。
要点
- シーンの切り替わりは検出し、個別に処理する必要があります。無関係なショット間で動きを推定すると、編集境界で不自然な混合画像や大きな歪みが生じる場合があります。
- 遮蔽される領域は隣接フレームの片方にしか見えないため、動きに基づく補間では、新たに現れる画素を推定する必要があります。こうした領域では、画像の裂けや実在しないテクスチャーが生じやすくなります。
- 可変フレームレートの入力では、ソースのフレームインデックスではなく、表示タイムスタンプに基づいて目標フレームを生成する必要があります。インデックスに基づく間隔では、動きのむらや再生時間の誤差が生じる場合があります。
フレーム補間が重要になる場面
補間は、スローモーション、フレームレート変換、より滑らかな再生に使われます。遮蔽や不正確な動き推定によって、二重の輪郭、歪み、実在しない細部が生じる場合があります。