フレーム平均化とは?
フレーム平均化は、複数の動画フレームで対応する画素の値を組み合わせる処理です。相関のないノイズの抑制、安定した背景の推定、時間にわたる情報の集約に利用できます。
フレーム平均化の仕組み
フレーム平均化では、時間的に関連する画像群を繰り返し観測したデータとして扱い、対応する各画素位置で値を合成します。シーンと撮影条件が安定していると、ランダムな変動が打ち消し合いやすくなり、持続する構造がより見えやすくなります。有限の時間窓を使う方式と逐次平均では、メモリー使用量と応答性の特性が異なります。この処理はフレームのデコードと、必要に応じた位置合わせの後に行い、測定、画質改善、背景差分の前に配置します。
要点
- 中央値による合成は、算術平均よりも一時的な外れ値を強く排除しますが、異なる時間統計量であり、シーン内の要素の保持や除去のされ方も異なる場合があります。
- わずかなカメラの動きでも、平均化に使うフレーム間で輪郭がずれ、ぼけや多重輪郭が生じます。平均化の前に、シーンに必要な幾何変換を用いて位置合わせを行う必要があります。
- カメラが静止して見えても、自動露出、ホワイトバランスの変化、ちらつき、ローリングシャッターによる変形は、サンプルが安定しているという前提を崩し、結果に偏りを生じさせます。
フレーム平均化が重要になる場面
フレーム平均化は、低照度でのノイズ除去、背景推定、動き解析に使われます。平均化に使うフレームを事前に位置合わせしないと、カメラや被写体の動きによって残像が生じます。