チャンクアップロードとは?
チャンクアップロードは、ファイルをバイト範囲に分割し、それぞれを個別に転送・追跡する方式です。再開可能な実装では、ファイル全体を再送せずに、未受信のチャンクだけを再送できます。
チャンクアップロードの仕組み
再開可能なアップローダーは、転送状態を確立し、送信元を位置情報付きのパートに分割して、サーバーが受信を確認したバイト範囲を記録します。パートは順次または並行して転送できます。パートベースのプロトコルでは、続く完了操作でオブジェクトを検証して組み立てます。一方、tus などのオフセットベースのプロトコルでは、受信済みオフセットが宣言された長さに達すると完了します。このプロトコル層はメディアの検査・処理より前に位置するため、大規模な取り込み処理でも接続断から復旧できますが、オフセット、重複した再試行、有効期限、最終的な整合性を明示的に管理する必要があります。
要点
- 再開可能なプロトコルには、安定したアップロード識別子と、正本となるオフセットまたはパート一覧が必要です。クライアント側の進捗だけを信用すると、応答が失われた後に一部のバイトを飛ばしてしまうことがあります。
- 確認応答がクライアントに届かなくても、サーバーにはチャンクが保存されている場合があります。そのため、再試行は冪等にするか、チェックサムで検証する必要があります。
- 個々のパートが有効でも、ファイル全体が有効とは限りません。完了処理では、後続処理の開始前に、順序と想定される全体の長さを検証し、できればオブジェクト全体のダイジェストも検証する必要があります。
チャンクアップロードが重要になる場面
大きなファイルや不安定なネットワーク上のクライアントなど、転送のやり直しに大きなコストがかかる場合は、チャンクアップロードを使用してください。サーバーでチャンクの順序、サイズ、最終的な組み立て結果を検証しないと、不完全なファイルが生成されるおそれがあります。