動き推定とは?
動き推定は、動画のフレーム間で画像の領域がどのように動くかを求め、その動きをベクトルやその他のモデルで表します。予測、解析、画像の位置合わせに使う動き情報を提供します。
動き推定の仕組み
動き推定では、関連するフレーム内の領域間で対応関係を探索し、変位の候補と予測誤差の指標を求めます。動画エンコーダーはこれらの候補を使い、フレーム間符号化のコストが空間符号化より低いかどうかを判断します。その他のシステムでは、手ぶれ補正、追跡、補間、位置合わせのために動きを解釈します。その際に求められるモデルには、密なモデル、グローバルモデル、特徴点ベースのモデルなどがあります。探索範囲、精度、評価指標によって、計算量と正確さのトレードオフが決まります。
要点
- ブロックマッチングを行うエンコーダーは、一般に絶対差分和などの指標で候補を比較し、最適な符号化モードを選ぶ際にはベクトルの伝送コストも考慮します。
- 動きベクトルは予測パラメーターであり、必ずしも物体の物理的な軌跡を表すわけではありません。遮蔽、テクスチャの繰り返し、カメラの動き、符号量の最適化によって変わることがあります。
- 小数画素精度のベクトルには、補間した参照サンプルが必要です。ゆっくりした動きや斜めの動きの予測を改善できますが、探索の処理量とデコーダーのフィルタリング処理が増えます。
動き推定が重要になる場面
圧縮、手ぶれ補正、フレーム補間、追跡、動きの解析には、動き推定を使用してください。探索範囲を広げたり探索精度を高めたりすると、正確さが向上する場合がありますが、遅延と計算コストが増加します。