デマルチプレックスとは?

デマルチプレックスは、メディアコンテナーやトランスポートストリームを、構成要素である動画、音声、字幕、メタデータのストリームに分離する処理です。必ずしも圧縮コンテンツをデコードせずに、ストリームの構成を変更します。

デマルチプレックスの仕組み

多重化されたコンテナーは、複数の論理トラックに属するパケットを交互に配置し、そのタイミングと解釈方法を記録します。デマルチプレクサーはコンテナーの構造を読み取り、トラックを選択して、圧縮されたアクセスユニットと付随情報を適切なデコーダーに渡します。これは、それらのユニットを音声サンプル、動画フレーム、字幕イベントに変換するデコードとは異なる処理です。デマルチプレックスは、再生、メディア解析、抽出、リマルチプレックスのワークフローで、バイト列の取得とコーデック処理の間に位置します。

要点

  1. パケットのタイムスタンプはコンテナーまたはトラックのタイムベースを使い、デコード順と表示順を区別する場合があります。この情報を破棄すると、トラック間の同期がずれたり、動画の順序が不正になったりする可能性があります。
  2. 圧縮されたトラックはビット単位で損失なく抽出できますが、単独のファイルとして扱うには、コーデックの初期化データが必要な場合があります。そのデータは、各パケットではなく、元のコンテナーヘッダーに保存されていたものです。
  3. エンコードされたメディア本体の大部分が無傷でも、インデックスの破損、ボックスの欠損、不正なパケットサイズによって、シークや解析ができなくなることがあります。したがって、デマルチプレックスの失敗は、必ずしもコーデックの失敗を意味しません。

デマルチプレックスが重要になる場面

トラックの抽出、ストリームのプロパティの調査、個別のデコーダーへのデータ供給を行う際は、メディアをデマルチプレックスしてください。選択するデマルチプレクサーは、コンテナーを解釈でき、タイミング情報を保持するものでなければなりません。そうでないと、再生時に同期がずれる可能性があります。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す