フラグメント化 MP4 とは?

フラグメント化 MP4 は、ISO ベースメディアファイルを初期化データと、個別に配信できるメディアフラグメントに分割します。通常、フラグメントには moof メタデータと、それに続く mdat メディアデータが含まれます。

エンコード済みの音声トラックと動画トラック
初期化セグメントと moof および mdat フラグメント
フラグメント化により、サンプルごとのメタデータは単一の中央インデックスから各フラグメントへ移ります。

フラグメント化 MP4 の仕組み

フラグメント化 MP4 は、変化しないトラック初期化情報と、個別に書き込まれる時刻付きサンプルの連続列を分離します。初期化部分はトラックとサンプル形式を宣言し、HLS と Media Source Extensions が要求する形式ではサンプルを保持しません。各フラグメントは、隣接するメディアペイロードの位置とタイムスタンプを特定するために必要なサンプル列のメタデータを保持します。これは、中央のサンプルテーブルでメディア全体の提示内容を記述する、通常のファイナライズ済み MP4 とは異なります。フラグメント化により、最終的な全体インデックスを待たずに、逐次生成、セグメント単位の配信、ブラウザーでの追記処理を行えます。変更されるのはコンテナの構造であり、コーデックではありません。CMAF も同じ構造を基盤としているため、HLS プレイリストと DASH マニフェストから同じセグメント群を参照できます。

要点

  1. HLS と Media Source Extensions では、初期化セグメントは ftyp ボックスと、その後に続く moov ボックスで構成されます。後者はトラックとサンプル記述を宣言しますが、サンプルは保持しません。moov 内の mvex ボックスは、フラグメントが後に続くことを示します。その後、メディアは moof ボックスとして到着します。各ボックスは、その後に続く一つ以上の mdat ボックス内にバイトデータを持つサンプルを記述します。
  2. 通常の MP4 は、そのままでは Media Source Extensions の SourceBuffer に追記できません。W3C の ISO BMFF バイトストリーム形式では、moov ボックスがサンプルを含む場合、または mvex を欠く場合、追記エラーにすることを要求しています。通常の MP4 は、有効な HLS メディアセグメントでもありません。RFC 8216 は、すべてのセグメントに同仕様で記述された形式の使用を要求しています。記述されている唯一の MP4 形式はフラグメント化 MP4 で、その初期化セクションのサンプル数はゼロであり、mvex を含む必要があります。フラグメント化は再パッケージ化の処理です。そのため、ブラウザーがすでにコーデックをサポートし、既存のキーフレームがセグメントの開始位置と一致していれば、FFmpeg は再エンコードせずに既存のストリームをフラグメント化ファイルへコピーできます。
  3. 各トラックフラグメントには、基準デコード時刻を格納する tfdt ボックスが必要です。HLS は各 traf 内にこのボックスを要求し、Media Source Extensions のバイトストリーム形式は、このボックスがない場合に追記エラーにすることを要求しています。HLS のタイムスタンプは、プレイリストで不連続が明示されていない限り、前のセグメントから連続している必要があります。HLS 仕様では、明示されていない不連続が再生エラーを引き起こす可能性があると警告しています。Apple のオーサリング仕様では、fMP4 のトラックフラグメントのデコード時刻は、前のセグメントのデコード時刻と継続時間に整合している必要があると定めています。Media Source Extensions では、符号化フレームのデコードタイムスタンプが前のフレームより前になるか、前のフレームからその継続時間の二倍を超えて後になると、すべてのトラックバッファーが新しいランダムアクセスポイントを待機します。また、HLS とバイトストリーム形式は、どちらも絶対バイトオフセットではなく、ムービーフラグメントを基準とする相対アドレス指定を要求します。FFmpeg は default_base_moof フラグでこの指定を書き込みます。
  4. 動画セグメントはランダムアクセスポイントから開始してください。HLS では、H.264 を含むセグメントには IDR フレームを含めることを推奨し、最初の IDR より前のフレームはダウンロードされても破棄される場合があるとしています。Apple のオーサリング仕様では、動画セグメントを IDR フレームから開始することを要求しています。DASH-IF のガイドラインでは、切り替えを簡単にするため、各セグメントの先頭に IDR に相当するストリームアクセスポイントを配置します。Media Source Extensions のトラックバッファーは、初期化セグメントの後、ランダムアクセスポイントが到着するまで符号化フレームを破棄します。

フラグメント化 MP4 が重要になる場面

フラグメント化 MP4 は、HLS または DASH のセグメント、Media Source Extensions を介して追加するメディア、書き込みが途中で止まっても読み取り可能である必要がある録画に選ばれます。任意のプレーヤーやエディターで開く必要がある単一ファイルには、通常の MP4 の構造が一般に安全な選択です。FFmpeg のドキュメントでは、フラグメント化されたファイルは他のアプリケーションとの互換性が低いとされています。

フラグメント化 MP4 の主な用途

  • Apple デバイスへの HEVC または AV1 動画の HLS 配信。Apple のオーサリング仕様では fMP4 が必須です。H.264 動画では、fMP4 または MPEG トランスポートストリームのセグメントを使用できます。
  • HLS プレイリストと DASH マニフェストの両方から参照する、共通の CMAF セグメント群。Apple は、複数のプラットフォームへの配信時に効率的なキャッシュを可能にすると説明しています。
  • Media Source Extensions を通じて初期化セグメントとメディアセグメントを追記するカスタムブラウザープレーヤー
  • 長時間録画やライブ録画。FFmpeg によると、フラグメント化ファイルは書き込みが中断されてもデコードでき、非常に長いファイルを書き込む際のメモリ使用量も少なくなります。

フラグメント化 MP4 の扱い方

FFmpeg のフラグメント化は、エンコーダーではなく、mov、mp4、ismv マルチプレクサーの設定です。frag_keyframe フラグは、動画の各キーフレームで新しいフラグメントを開始します。そのため、このフラグを使用すると、エンコーダーのキーフレーム間隔によってフラグメントの開始位置が決まります。ストリームコピーは、パケットをデコードもエンコードもせずに通過させます。したがって、コピーした動画は既存のキーフレームを維持し、その間隔を変更するには再エンコードが必要です。別途用意されている cmaf フラグと dash フラグは、それぞれの形式に対応するフラグメント化出力を書き込みます。

HLS では、フラグメント化 MP4 によってメディアだけでなくプレイリストも変わります。各 fMP4 セグメントには、その初期化セクションを指す EXT-X-MAP タグが必要です。通常のメディアプレイリストでこのタグを使用するには、プロトコルバージョン 6 以降が必要です。Apple は、HLS がフラグメント化 MPEG-4 セグメントを定義したのは 2016 年9月であり、それ以前の改訂に基づくクライアントでは CMAF コンテンツを扱えない可能性が高いとしています。

必要なコスト

  • FFmpeg のドキュメントでは、フラグメント化ファイルは通常の MP4 ファイルよりも他のアプリケーションとの互換性が低く、faststart オプションはフラグメント化出力では機能しないと説明しています。
  • MDN によると、メタデータがファイル全体に分散するため、フラグメント化ファイルは元のファイルよりわずかに大きくなり、通常その増加率は 1 パーセント以下です。

Transloadit によるフラグメント化 MP4 の活用支援

Transloadit の Robot /video/adaptive のドキュメントには、パラメーター technique の値として cmaf が記載されています。この値を指定すると、FFmpeg ベースの CMAF 出力が生成され、MPEG-DASH と HLS のマニフェストは同じ fMP4 セグメントを参照します。

Robot のドキュメントで fMP4 セグメントが明記されているのは technique: cmaf のみです。hls または dash の方式については、セグメントのコンテナーは記載されていません。また、CMAF 出力ではすべての音声が単一のアダプテーションセットにまとめられると説明されており、多言語音声については technique: hls と audio_group の組み合わせが案内されています。

Transloadit のファイル形式・圧縮機能を見る

出典

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す