デマルチプレックスとは?
デマルチプレックスは、メディアコンテナーやトランスポートストリームを、構成要素である動画、音声、字幕、メタデータのストリームに分離する処理です。必ずしも圧縮コンテンツをデコードせずに、ストリームの構成を変更します。
デマルチプレックスの仕組み
多重化されたコンテナーは、複数の論理トラックに属するパケットを交互に配置し、そのタイミングと解釈方法を記録します。デマルチプレクサーはコンテナーの構造を読み取り、トラックを選択して、圧縮されたアクセスユニットと付随情報を適切なデコーダーに渡します。これは、それらのユニットを音声サンプル、動画フレーム、字幕イベントに変換するデコードとは異なる処理です。デマルチプレックスは、再生、メディア解析、抽出、リマルチプレックスのワークフローで、バイト列の取得とコーデック処理の間に位置します。
要点
- パケットのタイムスタンプはコンテナーまたはトラックのタイムベースを使い、デコード順と表示順を区別する場合があります。この情報を破棄すると、トラック間の同期がずれたり、動画の順序が不正になったりする可能性があります。
- 圧縮されたトラックはビット単位で損失なく抽出できますが、単独のファイルとして扱うには、コーデックの初期化データが必要な場合があります。そのデータは、各パケットではなく、元のコンテナーヘッダーに保存されていたものです。
- エンコードされたメディア本体の大部分が無傷でも、インデックスの破損、ボックスの欠損、不正なパケットサイズによって、シークや解析ができなくなることがあります。したがって、デマルチプレックスの失敗は、必ずしもコーデックの失敗を意味しません。
デマルチプレックスが重要になる場面
トラックの抽出、ストリームのプロパティの調査、個別のデコーダーへのデータ供給を行う際は、メディアをデマルチプレックスしてください。選択するデマルチプレクサーは、コンテナーを解釈でき、タイミング情報を保持するものでなければなりません。そうでないと、再生時に同期がずれる可能性があります。