フラグメント化 MP4 とは?
フラグメント化 MP4 は、ISO ベースメディアファイルを初期化データと、個別に配信できるメディアフラグメントに分割します。通常、フラグメントには moof メタデータと、それに続く mdat メディアデータが含まれます。
フラグメント化 MP4 の仕組み
フラグメント化 MP4 は、変化しないトラック初期化情報と、個別に書き込まれる時刻付きサンプルの連続列を分離します。初期化部分はトラックとサンプル形式を宣言し、HLS と Media Source Extensions が要求する形式ではサンプルを保持しません。各フラグメントは、隣接するメディアペイロードの位置とタイムスタンプを特定するために必要なサンプル列のメタデータを保持します。これは、中央のサンプルテーブルでメディア全体の提示内容を記述する、通常のファイナライズ済み MP4 とは異なります。フラグメント化により、最終的な全体インデックスを待たずに、逐次生成、セグメント単位の配信、ブラウザーでの追記処理を行えます。変更されるのはコンテナの構造であり、コーデックではありません。CMAF も同じ構造を基盤としているため、HLS プレイリストと DASH マニフェストから同じセグメント群を参照できます。
要点
- HLS と Media Source Extensions では、初期化セグメントは
ftypボックスと、その後に続くmoovボックスで構成されます。後者はトラックとサンプル記述を宣言しますが、サンプルは保持しません。moov内のmvexボックスは、フラグメントが後に続くことを示します。その後、メディアはmoofボックスとして到着します。各ボックスは、その後に続く一つ以上のmdatボックス内にバイトデータを持つサンプルを記述します。 - 通常の MP4 は、そのままでは Media Source Extensions の
SourceBufferに追記できません。W3C の ISO BMFF バイトストリーム形式では、moovボックスがサンプルを含む場合、またはmvexを欠く場合、追記エラーにすることを要求しています。通常の MP4 は、有効な HLS メディアセグメントでもありません。RFC 8216 は、すべてのセグメントに同仕様で記述された形式の使用を要求しています。記述されている唯一の MP4 形式はフラグメント化 MP4 で、その初期化セクションのサンプル数はゼロであり、mvexを含む必要があります。フラグメント化は再パッケージ化の処理です。そのため、ブラウザーがすでにコーデックをサポートし、既存のキーフレームがセグメントの開始位置と一致していれば、FFmpeg は再エンコードせずに既存のストリームをフラグメント化ファイルへコピーできます。 - 各トラックフラグメントには、基準デコード時刻を格納する
tfdtボックスが必要です。HLS は各traf内にこのボックスを要求し、Media Source Extensions のバイトストリーム形式は、このボックスがない場合に追記エラーにすることを要求しています。HLS のタイムスタンプは、プレイリストで不連続が明示されていない限り、前のセグメントから連続している必要があります。HLS 仕様では、明示されていない不連続が再生エラーを引き起こす可能性があると警告しています。Apple のオーサリング仕様では、fMP4 のトラックフラグメントのデコード時刻は、前のセグメントのデコード時刻と継続時間に整合している必要があると定めています。Media Source Extensions では、符号化フレームのデコードタイムスタンプが前のフレームより前になるか、前のフレームからその継続時間の二倍を超えて後になると、すべてのトラックバッファーが新しいランダムアクセスポイントを待機します。また、HLS とバイトストリーム形式は、どちらも絶対バイトオフセットではなく、ムービーフラグメントを基準とする相対アドレス指定を要求します。FFmpeg はdefault_base_moofフラグでこの指定を書き込みます。 - 動画セグメントはランダムアクセスポイントから開始してください。HLS では、H.264 を含むセグメントには IDR フレームを含めることを推奨し、最初の IDR より前のフレームはダウンロードされても破棄される場合があるとしています。Apple のオーサリング仕様では、動画セグメントを IDR フレームから開始することを要求しています。DASH-IF のガイドラインでは、切り替えを簡単にするため、各セグメントの先頭に IDR に相当するストリームアクセスポイントを配置します。Media Source Extensions のトラックバッファーは、初期化セグメントの後、ランダムアクセスポイントが到着するまで符号化フレームを破棄します。
フラグメント化 MP4 が重要になる場面
フラグメント化 MP4 は、HLS または DASH のセグメント、Media Source Extensions を介して追加するメディア、書き込みが途中で止まっても読み取り可能である必要がある録画に選ばれます。任意のプレーヤーやエディターで開く必要がある単一ファイルには、通常の MP4 の構造が一般に安全な選択です。FFmpeg のドキュメントでは、フラグメント化されたファイルは他のアプリケーションとの互換性が低いとされています。
フラグメント化 MP4 の主な用途
- Apple デバイスへの HEVC または AV1 動画の HLS 配信。Apple のオーサリング仕様では fMP4 が必須です。H.264 動画では、fMP4 または MPEG トランスポートストリームのセグメントを使用できます。
- HLS プレイリストと DASH マニフェストの両方から参照する、共通の CMAF セグメント群。Apple は、複数のプラットフォームへの配信時に効率的なキャッシュを可能にすると説明しています。
- Media Source Extensions を通じて初期化セグメントとメディアセグメントを追記するカスタムブラウザープレーヤー
- 長時間録画やライブ録画。FFmpeg によると、フラグメント化ファイルは書き込みが中断されてもデコードでき、非常に長いファイルを書き込む際のメモリ使用量も少なくなります。
フラグメント化 MP4 の扱い方
FFmpeg のフラグメント化は、エンコーダーではなく、mov、mp4、ismv マルチプレクサーの設定です。frag_keyframe フラグは、動画の各キーフレームで新しいフラグメントを開始します。そのため、このフラグを使用すると、エンコーダーのキーフレーム間隔によってフラグメントの開始位置が決まります。ストリームコピーは、パケットをデコードもエンコードもせずに通過させます。したがって、コピーした動画は既存のキーフレームを維持し、その間隔を変更するには再エンコードが必要です。別途用意されている cmaf フラグと dash フラグは、それぞれの形式に対応するフラグメント化出力を書き込みます。
HLS では、フラグメント化 MP4 によってメディアだけでなくプレイリストも変わります。各 fMP4 セグメントには、その初期化セクションを指す EXT-X-MAP タグが必要です。通常のメディアプレイリストでこのタグを使用するには、プロトコルバージョン 6 以降が必要です。Apple は、HLS がフラグメント化 MPEG-4 セグメントを定義したのは
2016 年9月であり、それ以前の改訂に基づくクライアントでは CMAF コンテンツを扱えない可能性が高いとしています。
必要なコスト
- FFmpeg のドキュメントでは、フラグメント化ファイルは通常の MP4 ファイルよりも他のアプリケーションとの互換性が低く、
faststartオプションはフラグメント化出力では機能しないと説明しています。 - MDN によると、メタデータがファイル全体に分散するため、フラグメント化ファイルは元のファイルよりわずかに大きくなり、通常その増加率は 1 パーセント以下です。
Transloadit によるフラグメント化 MP4 の活用支援
Transloadit の Robot /video/adaptive のドキュメントには、パラメーター technique の値として cmaf が記載されています。この値を指定すると、FFmpeg ベースの CMAF 出力が生成され、MPEG-DASH と HLS のマニフェストは同じ fMP4 セグメントを参照します。
Robot のドキュメントで fMP4 セグメントが明記されているのは technique: cmaf のみです。hls または dash の方式については、セグメントのコンテナーは記載されていません。また、CMAF 出力ではすべての音声が単一のアダプテーションセットにまとめられると説明されており、多言語音声については
technique: hls と audio_group の組み合わせが案内されています。
出典
- W3C:ISO BMFF バイトストリーム形式(初期化セグメント、メディアセグメント、ランダムアクセスポイント)
- RFC 8216:HTTP Live Streaming、第 3 節(メディアセグメント)、第 3.3 節(フラグメント化 MPEG-4)、第 4.3.2.5 節(EXT-X-MAP)
- W3C:Media Source Extensions(符号化フレームの処理とランダムアクセスポイント)
- FFmpeg 形式ドキュメント:MOV/MPEG-4/ISOMBFF マルチプレクサー、フラグメント化と movflags
- FFmpeg ドキュメント:第 3.1 節、ストリームコピー
- MDN:Media Source Extensions 向けのメディア素材のトランスコード
- Apple:Apple デバイス向け HLS オーサリング仕様
- Apple:HTTP Live Streaming(HLS)で使用する Common Media Application Format について
- DASH-IF 相互運用ポイント v4.3、第 3.2.1 節(セグメント形式の制約)