多重化とは?
多重化は、エンコード済みの動画、音声、字幕、タイミング情報を、同期したコンテナーにまとめる処理です。既存のストリームを格納する処理であり、必ずしもメディア内容のデコードや再圧縮を伴いません。
多重化の仕組み
メディアの多重化では、エンコード済みのエレメンタリーストリームを交互に配置し、選択したコンテナーに必要なインデックス、タイムスタンプ、記述メタデータを書き込みます。マルチプレクサーは、各ストリームのタイミングをコンテナーのタイムベースに変換し、コーデックごとのフレーミング規則に従う必要があります。通常、圧縮済みサンプルを変更せずに通せるため、再エンコードと比べて高速で、品質劣化もありません。エンコード後、保存や配信の前に行うパッケージング工程にあたり、逆に分離する処理が分離多重化です。
要点
- マルチプレクサーは、すべての圧縮済みフレームを変更せずにコピーする場合でも、デコーダー初期化データなど、通常のサンプルとは別のコーデック設定レコードを必要とすることがあります。
- 両方のエレメンタリーストリームを正しくデコードできても、タイムスタンプが単調増加していない場合や欠落している場合は、サンプルの拒否、シークの不具合、音声と映像のずれが発生することがあります。
- MP4 から MPEG-TS への変更が再多重化になるのは、出力先コンテナーが既存のコーデックに対応し、再エンコードなしでメタデータを表現できる場合に限ります。
多重化が重要になる場面
パッケージングだけを変更する場合は、互換性のある H.264 動画と AAC 音声を MP4 に多重化してください。タイムスタンプ、コーデック、コンテナーの制約が競合すると、再多重化が失敗し、トランスコードが必要になることがあります。