大規模なメディアライブラリーのバッチ処理と移行
既存のクラウドストレージから数百ギガバイトや数テラバイトのデータをインポートし、多数のファイルに一つの自動化ワークフローを実行して、結果を元のストレージに移行します。
S3、Google Cloud、Azure、SFTP、HTTP などの対応ソースから、大規模なメディアライブラリを読み込みます。
Assembly 単位のバッチを送信すると、Transloadit が最大 1,500 台まで拡張できるマシン群で並行ジョブをスケジュールします。
処理済みファイルを元の保存先にエクスポートするか、新しいプロバイダーとプレフィックスに移動します。
開発を加速
既存のライブラリーを再び活用しましょう。
既存のファイルに新しい形式やワークフローを適用します。
新しいフォーマットへの対応を迅速化
利用者が使うデバイスに合わせて、既存のライブラリを整備します。
過去のコンテンツを見つけやすくする
ストレージに保存済みのファイルに、文字起こし、プレビュー、メタデータを追加します。
移行の推進
手動で何度もダウンロードせずに、ファイルをインポート、処理、エクスポートできます。
リリースの一貫性を維持
保存済みの一つの Template を、バッチ内のファイルに適用します。
エンジニアリングの時間を確保
処理はマネージドワーカーに任せ、チームは機能のリリースを進められます。
大規模なライブラリーに備える
大規模なバックフィルや季節的なピークに備えて、バッチ処理の容量を計画しましょう。
数百ギガバイトからテラバイト規模の移行まで
一度限りのクラウドストレージ移行、大規模なメディアのバックフィル、定期的なファイルの一括処理に、マネージドファイル処理 API として Transloadit を活用できます。既存のストレージからインポートし、各ファイルを変換して結果をエクスポートできるため、ライブラリ全体をアプリケーションサーバー経由で転送する必要はありません。
処理元のファイルを一覧化
移行するバケット、プレフィックス、オブジェクトパスを選択し、ファイル数とバイト数の合計を見積もります。
ページ単位に分割して Assembly に振り分け
大規模なストレージプレフィックスを、ファイルごとの処理量に応じて約 500–1,000 ファイルの Assembly にページ分割し、制御したレートで送信する
並行処理
保存済みの単一の Template を移行全体に適用します。Batch Queue に割り当てられた Jobs は、各リージョンの Batch Job Slots を共有します。
エクスポートと状態の照合
結果を元のストレージまたは新しい保存先に書き込み、各 Assembly を検証してからファイルを完了済みにします。
利用中のアプリケーション
- 在庫
- ページ分割
- 送信
- Assembly 送信済み
Transloadit
- インポート
- スケジュール
- 変換
- エクスポート
- レポート
- 結果を返却済み
利用中のアプリケーション
- レコード ID
- 承認
- 公開
入出力はお客様が管理し、中間処理は当社が担当
データに依存する処理は、引き続きアプリケーションが担当します。移行対象を選び、Assembly 単位のバッチに分けて任意のレートで送信し、返された結果を記録します。これは、対象データを列挙するループと冪等なコールバックハンドラーで構成されます。
その二つの地点の間は、すべて当社が担当します。データのインポート、サーバー群とそのキュー全体でのスケジューリング、各ファイルへの同じ Template の適用、結果のエクスポート、Assembly ごとのエラーの把握まで対応します。 キューと並列処理の仕組みをご覧ください。
思いどおりに制御できるワークフロー
手間のかからないバッチ処理
バックフィルのたびに使い捨てのスクリプトを実行するのではなく、内容を確認できるワークフローを再利用してください。
小規模から始めて段階的に拡張
少量のサンプルで Template をテストしてから、Transloadit で数百万のファイルを処理します。
ストレージからインポート
対応するバケットやリモートストレージプロバイダーから既存のファイルを読み込みます。
処理ロジックの再利用
新規アップロードにも既存ファイルにも、同じ Template を実行できます。
各ファイルをさらに活用
一つのワークフローで複数の形式、サムネイル、メタデータを生成します。
各 Assembly の状況把握
処理状況とエラーを確認し、再実行が必要な処理を判断します。
各 Assembly の完了を把握
Assembly の終了時に Transloadit からサーバーに通知を送り、その後ステータスを確認して結果やエラーを把握してください。
処理が集中する日に備えて余力を確保
Batch Queue に割り当てられた Job は Batch Job Slots を使用します。これらのスロットが使用中の場合、追加の Job は待機します。
既存のストレージを利用
処理結果を Amazon S3、Cloudflare R2、Google Cloud Storage、Azure などに送信します。
支出の抑制
通知を受け取るソフト請求上限、または到達すると新しい Assembly を拒否するハード請求上限を設定します。
大規模なバッチ処理による移行を開始
既存のストレージを接続し、代表的なファイルを含むページでテストしてから、同じ Template をライブラリー全体に適用し、検証済みの結果をエクスポートしてください。
よくある質問
既存ファイルの一括処理で何ができますか?
動画の再エンコード、画像のリサイズ、音声の文字起こし、メタデータの抽出、その他の保存済みワークフローをライブラリに適用できます。必要な結果を生成する Template から始めてください。利用可能な処理用 Robot を確認する。
ソースファイルはどこに保存できますか?
対応するインポート Robot を使って、Amazon S3、Cloudflare R2、Google Cloud Storage、Azure などのソースから読み込みます。ファイルの選択方法はインポートオプションで決まります。ストレージ連携を探す。
ライブラリー全体を一度に処理すべきですか?
まず代表的なサンプルで、品質、出力先のパス、使用量を確認してください。その後、同じ Template を使ってバッチの対象を広げてください。大規模なライブラリーでは、1つの巨大な Assembly ではなく、各ファイルの処理量に合わせて分割した複数の小さな Assembly が必要になる場合があります。Assembly の詳細を読む。
すべてのバッチ Job スロットが使用中の場合はどうなりますか?
Batch Queue 内の Jobs は、プランの Batch Job Slots を使用します。インポーターによっては、一部のインポートが自動的にこのキューに割り当てられます。また、Step ごとにこのキューを選択することもできます。処理枠を超えるジョブは、枠が空くまで待機します。大量のバックフィルを行う前に、バッチ処理容量についてお問い合わせください。キューと処理枠の仕組みをご覧ください。
失敗したジョブや処理の完了はどうすれば確認できますか?
Assembly のステータスレスポンスと通知を使って、完了やエラーを追跡してください。失敗した Assembly のうち、どれを再試行するかはアプリケーション側で判断できます。Webhook ガイドをご覧ください。
別のストレージプロバイダーに結果をエクスポートできますか?
はい。移行元プロバイダーのインポート用 Robot と、移行先プロバイダーのエクスポート用 Robot を組み合わせてください。出力パスを慎重に選び、元のファイルを削除する前に結果を確認してください。処理済みファイルの保存方法をご覧ください。
コストを見積もり、管理するにはどうすればよいですか?
料金は処理内容と使用量によって異なります。請求額のソフトリミットではアラートを送信し、ハードリミットに達すると新しい Assembly は拒否されます。大規模な処理については、ボリューム料金とバッチ処理能力をご相談ください。ワークフローの費用を見積もる。
