rclone で Wasabi にファイルをエクスポート
rclone copy を使い、宛先にしか存在しないファイルを保持したまま、ローカルディレクトリを Wasabi にエクスポートします。次に rclone check --download --one-way でアップロードしたバイト列とローカルファイルを比較します。この手順では非公開バケットと特定のプレフィックスを選び、転送をプレビューしてから、同じコマンドでエクスポートを繰り返せるようにします。
バケットの選択とコストの確認
Wasabi アカウント、既存の非公開バケット、そのストレージリージョン、および選択したプレフィックス内のオブジェクトを一覧表示、アップロード、読み取りできるアクセスキーが必要です。バケットがない場合は、先に Wasabi コンソールで作成してください。公開アクセスは無効のままにします。rclone のリモートを設定してもバケットは作成されません。以下のコマンドは意図的に既存のバケットを使います。
Wasabi は S3 互換 API を提供しています。標準の Pay-Go 料金には、月額料金の最低容量 1 TBと最低保存期間 90日が適用されます。それより早くオブジェクトを削除すると、残りの日数分の料金が発生する場合があります。無料のデータ転送(エグレス)は、月間ダウンロード量が実際の保存容量以下であることを想定しています。繰り返し超過すると、サービスの制限や停止につながる場合があります。無料の API リクエストにも適正利用ポリシーがあります。テストデータをアップロードする前に、Wasabi の料金 FAQを契約プランと照らし合わせて確認してください。エクスポート量が少なくても、月額料金が少額になるとは限りません。
Wasabi 用の rclone 設定
インストール
公式のインストール手順に従って rclone をインストールし、バージョンを確認します。
rclone version
シェルの例では Linux 上の Bash を使います。転送コマンドは rclone 1.75.1 とローカルの S3 互換サービスで動作を確認していますが、実際の Wasabi アカウントの権限やリージョンへの接続性を検証したものではありません。コピーと検証の間は、コピー元ディレクトリを変更しないでください。これらの例は通常のファイルをエクスポートするもので、権限やシンボリックリンクを含むファイルシステム全体のバックアップではありません。
設定
対話形式の設定を開始します。
rclone config
Wasabi の rclone 設定ガイドに従い、以下の値を使います。メニュー番号は変わることがあるため、番号ではなくバックエンドとプロバイダーの値を入力してください。
wasabiという名前のリモートを作成します。- ストレージバックエンドを
s3、プロバイダーをWasabiに設定します。 env_authをfalseに設定し、プロンプトで Wasabi のアクセスキーとシークレットキーを入力します。S3 バックエンドのため、プロンプトでは AWS の認証情報と呼ばれます。- Wasabi のガイドに従い
regionは空欄にして、endpointをバケットの実際のリージョンのサービス URL に設定します。 - 既存のバケットを使うため、
location_constraintは空欄にします。これはバケットの作成時に使う項目です。 aclをprivateに設定し、その他のオプションはデフォルトのままでリモートを保存します。
たとえば、US East 1 では s3.us-east-1.wasabisys.com または s3.wasabisys.com、Amsterdam では s3.eu-central-1.wasabisys.com を使います。バケットの場所に合う値を
Wasabi のエンドポイント一覧で確認してください。コンソールの URL は S3 エンドポイントではありません。オブジェクトの ACL を非公開にしても、公開バケットポリシーは無効になりません。
セキュリティ上の注意点
認証情報をスクリプトやシェルコマンドの引数に含めないでください。実際に使用している設定ファイルは、次のコマンドで確認します。
rclone config file
そのファイルとバックアップへのアクセスを制限してください。スケジュール実行するジョブでは、RCLONE_CONFIG または --config で設定ファイルのパスを明示します。rclone の設定ドキュメントを参照してください。対象のバケット/プレフィックスだけにアクセスを制限した専用の Wasabi ID を使います。コピージョブには宛先オブジェクトの削除権限は不要です。後述する任意のミラーリングには必要です。
ディレクトリのコピーと内容の検証
ファイルのコピー
同じ Bash セッションで、ローカルのコピー元を絶対パスで設定し、以下のバケット名を置き換えます。バケットのルートではなく、exports/project-a など、このエクスポート専用のプレフィックスを使ってください。
src='/absolute/path/to/export'
dst='wasabi:your-existing-bucket/exports/project-a'
rclone lsf "$dst" --recursive
一覧が空の場合は、新しいプレフィックスである可能性があります。終了ステータスがゼロ以外の場合は、続行する前にエラーを解消する必要があります。アップロードせずに選択したファイルをプレビューします。
rclone copy "$src" "$dst" --s3-no-check-bucket --checksum --exclude '*.tmp' --dry-run
--s3-no-check-bucket オプションは、rclone によるバケットの確認や作成の試行を防ぎます。バケット名を誤って入力した場合でも、アクセス時には失敗します。--checksum は、ファイルを置き換えるかどうかの判断に、サイズと利用可能なチェックサムを使います。copy は宛先にしかないオブジェクトを保持しますが、同名の既存オブジェクトを上書きする場合があります。バージョン管理付きバックアップではありません。copy コマンドリファレンスを参照してください。
プレビューで意図したコピー元とプレフィックスを確認できたら、コピーしてから検証を実行します。
rclone copy "$src" "$dst" --s3-no-check-bucket --checksum --exclude '*.tmp' &&
rclone check "$src" "$dst" --download --one-way --exclude '*.tmp'
ディレクトリの内容はプレフィックスの直下に配置されます。report.pdf は
exports/project-a/report.pdf となり、余分な export/ ディレクトリは入りません。空のディレクトリはオブジェクトになりません。コピー元が空でも、何も転送せずに正常終了する場合があります。意図したファイルが選択されていることを確認してください。
アップロードしたバイト列の読み戻し
check --download はリモートデータを読み込み、ローカルファイルと比較します。オブジェクトのメタデータや ETag だけに依存するものではありません。--one-way は、コピー方針に合わせて宛先に追加のファイルがあることを許容します。両方のコマンドに同じ除外設定が必要です。
成功した場合、対象となるコピー元ファイルとリモート側の対応するファイルが検証時点で一致しています。不一致、オブジェクトの欠落、読み取りエラーがあると、ゼロ以外の終了ステータスになります。検証では対象オブジェクトをダウンロードするため、時間と帯域幅を確保し、その通信量を Wasabi のエグレスポリシーに照らして考慮してください。コピー元が空でなければ、一致したファイル数が報告され、差分がないことを確認します。
転送対象の調整
ファイルのフィルタリング
引用符で囲んだ --exclude '*.tmp' パターンは、任意の階層にある一時ファイルを除外します。引用符は、rclone がパターンを受け取る前に Bash が展開するのを防ぎます。copy からファイルを除外しても、リモートに既存のコピーがあればそのまま残ります。対象を変更する場合は、プレビュー、コピー、検証に同じフィルターを適用してください。
並列転送
rclone はデフォルトで四つのファイルを同時に転送します。計測の結果、ワークロードに効果がある場合は、コピーコマンドに --transfers=8 を追加してください。並列度を上げるとリソース使用量も増える場合があります。--transfers オプションを参照してください。
帯域幅の制御
--bwlimit=10M を追加すると、転送帯域幅の上限を 10 MiB/s に設定できます。検証にも同じ上限を適用する場合は、ダウンロードによる検証にも追加してください。rclone の帯域幅のドキュメントには、スケジュール設定の説明もあります。
検証付きエクスポートの繰り返し実行
以下を export-to-wasabi.sh として保存します。手動コマンドと同じコピー元と宛先を受け取り、コピー元ディレクトリが存在しなければ拒否し、コピーか検証のいずれかが失敗した時点で停止します。
#!/usr/bin/env bash
set -euo pipefail
src=${1:?Pass a local source directory}
dst=${2:?Pass a wasabi:bucket/prefix destination}
if [[ ! -d "$src" ]]; then
printf 'Source directory does not exist: %s\n' "$src" >&2
exit 1
fi
rclone copy "$src" "$dst" --s3-no-check-bucket --checksum --exclude '*.tmp'
rclone check "$src" "$dst" --download --one-way --exclude '*.tmp'
選択済みのパスを指定して実行します。
bash ./export-to-wasabi.sh "$src" "$dst"
スケジューラーでは、Bash、スクリプト、コピー元、設定ファイルに絶対パスを指定してください。ジョブの PATH に rclone が含まれることを確認し、出力を記録して、ゼロ以外のステータスをエクスポートの失敗として扱います。同時に複数回実行しないようにしてください。再実行すると変更されたファイルは置き換えられる場合がありますが、ローカルで削除したファイルはバケットに残ります。この保持動作が要件に合う場合にのみ、このコピースクリプトをスケジュール実行してください。
ファイルの同期
宛先にしかないファイルを削除する必要がある場合にのみ、ミラーリングを使います。同じ src と dst を使う場合、rclone sync が変更するのは、選択した宛先プレフィックスだけです。そこにローカルにはない old-report.pdf がある場合、copy は保持し、sync は削除します。exports/project-a/ の外にあるオブジェクトは、このコマンドの対象外です。
ミラーリングは別途プレビューします。
rclone sync "$src" "$dst" --s3-no-check-bucket --checksum --exclude '*.tmp' --dry-run
削除予定を読み、両方のパスを再確認してください。コピー元が存在していても空の場合は、宛先プレフィックス内の対象オブジェクトがすべて削除される可能性があります。このコマンドは --delete-excluded を使わないため、除外対象の
.tmp オブジェクトは残ります。プレビューしても、コピー元や宛先の状態が固定されるわけではありません。
その削除が意図したものである場合にのみ、次を実行します。
rclone sync "$src" "$dst" --s3-no-check-bucket --checksum --exclude '*.tmp'
削除権限が必要です。オブジェクトの保持設定によって削除が阻止される場合があり、Wasabi の最低保存期間によって削除後も料金が発生する場合があります。この選択は、削除を行わないエクスポートスクリプトと分けて扱ってください。
エクスポート失敗の診断
よくある問題
- アクセス拒否: このバケット/プレフィックスの認証情報と権限を確認してください。一覧表示に成功しても、アップロードやダウンロードの権限があるとは限りません。選択したバケットにアクセスできても、
rclone lsd wasabi:による全バケットの一覧表示は拒否される場合があります。 - エンドポイントの誤りや署名エラー: リモートのエンドポイントをバケットのリージョンと照合し、マシンの時計を確認してください。接続のリセットだけでは、リージョンの不一致とは判断できません。
- ジョブで設定が見つからない: 意図した
RCLONE_CONFIGまたは--configのパスで実行し、ジョブの実行ユーザーがそのファイルを読み取れることを確認してください。 - 検証での差分: コピー元ファイルを変更せず、両方のコマンドで同じフィルターを使っていることを確認し、エクスポート結果を受け入れる前に、報告されたファイル名を調査してください。
デバッグ
失敗するコマンドに -v を追加すると、ファイル単位の情報が得られます。必要に応じて -vv でデバッグログを取得し、共有する前に認証情報、機密性のあるパス、オブジェクト名を伏せてください。ドライランは予定された処理を確認するものであり、Wasabi が実際の書き込みを許可することを証明するものではありません。
Transloadit ワークフローの結果をエクスポートする場合は、🤖 /wasabi/store の Robot を、ファイルエクスポートサービスでご確認ください。
ご自身での運用は避けたいですか?
Transloadit は、単一の API 呼び出し内の処理の一環として、S3、Azure、Google Cloud などにファイルをエクスポートします。
