rclone と CLI による DigitalOcean Spaces のファイル管理
rclone の S3 バックエンドで非公開の DigitalOcean Space にディレクトリをアップロードし、オブジェクトを一覧表示して、ファイルを再ダウンロードします。このチュートリアルでは、ダウンロードしたデータをバイト単位で検証し、バケットを公開せずに、専用のデモ用プレフィックス内で
sync が何を削除するかを確認します。
非公開 Space の準備
既存の Standard Storage Space と、そのリージョンのオリジンエンドポイント(例:fra1.digitaloceanspaces.com)が必要です。そのバケットへの読み取り、書き込み、削除の権限を持つ Spaces アクセスキーを使用してください。DigitalOcean API トークンは別の認証情報です。DigitalOcean のアクセスキーガイドで、バケット単位のキーについて説明されています。AWS IAM ポリシーを Spaces にコピーしても、同じアクセス権が付与されるとは考えないでください。
以下のコマンドは、Bash、cURL、unzip、GNU coreutils をインストールした、Intel/AMD 64 ビットプロセッサ上の Linux を対象としています。検証した rclone のリリースは 1.75.2 です。この例のファイル名は UTF-8 を使用し、ネストしたディレクトリ内にバイナリファイルも含みます。空のファイルは意図的に用意しています。この小規模な逐次実行の演習は、運用中のバックアップや、別のプロセスが変更しているディレクトリとは分けて実施してください。
新しい作業ディレクトリへの rclone のインストール
書き込み可能なディレクトリで、次のブロックを貼り付けてください。バージョン指定の rclone リリースをダウンロードし、公開されている SHA-256 チェックサムを検証して、実行ファイルをローカルにインストールします。rclone-spaces ディレクトリがすでに存在する場合は処理を拒否します。丸括弧により、ディレクトリの移動とシェルオプションの適用をサブシェル内に限定しています。
(
set -eu
for tool in curl sha256sum unzip install mv mkdir; do
command -v "$tool" >/dev/null || { echo "Missing prerequisite: $tool" >&2; exit 1; }
done
mkdir rclone-spaces &&
cd rclone-spaces &&
curl -fsSLo rclone.zip https://downloads.rclone.org/v1.75.2/rclone-v1.75.2-linux-amd64.zip &&
curl -fsSLo SHA256SUMS https://downloads.rclone.org/v1.75.2/SHA256SUMS &&
mv rclone.zip rclone-v1.75.2-linux-amd64.zip &&
sha256sum --check --ignore-missing SHA256SUMS &&
unzip -q rclone-v1.75.2-linux-amd64.zip &&
install -m 755 rclone-v1.75.2-linux-amd64/rclone rclone &&
./rclone version
)
バージョンの出力は rclone v1.75.2 で始まるはずです。アーカイブのダウンロードや検証に失敗した場合は、そこで中止してください。作成途中の rclone-spaces ディレクトリの内容を確認してから、自分で削除し、セットアップをやり直してください。インストーラーは既存のプロジェクトを上書きしません。残りのコマンドは、この新しいディレクトリ内で実行してください。
Spaces リモートの設定
rclone-spaces 内で、他のユーザーからアクセスできない空の設定ファイルを作成します。既存のファイルがある場合は処理を拒否し、通常の rclone 設定には変更を加えません。
(umask 077; set -C; : > spaces.conf)
spaces.conf を編集して以下の設定を記述し、認証情報のプレースホルダーとエンドポイントを置き換えてください。このファイルはバージョン管理の対象外にしてください。
[spaces]
type = s3
provider = DigitalOcean
env_auth = false
access_key_id = YOUR_SPACES_ACCESS_KEY
secret_access_key = YOUR_SPACES_SECRET_KEY
endpoint = fra1.digitaloceanspaces.com
region =
location_constraint =
acl = private
no_check_bucket = true
list_version = 1
DigitalOcean バックエンドの手順では、region
と location_constraint を空欄にします。リージョンはエンドポイントで識別されます。バケット名や CDN ホスト名を含まない、オリジンエンドポイントを使用してください。no_check_bucketを設定すると、バケットの存在確認と作成のチェックを省略します。バケットがすでに存在することを前提とする設定であり、オブジェクトへの権限を付与するものではありません。この例では、一覧取得に
ListObjects バージョン 1を明示的に使用します。
ファイルツリーのアップロード、一覧表示、ダウンロード
以下を同じ作業ディレクトリに spaces-demo.sh として保存してください。実行時には、バケット名と新しい UUID を渡します。スクリプトはその UUID でリモートの保存先を分離し、空でないプレフィックスや、既存のローカルディレクトリ
upload/download がある場合は処理を拒否します。
#!/usr/bin/env bash
set -euo pipefail
space=${1:?Supply a bucket name}
run_id=${2:?Supply a fresh UUID}
[[ "$space" =~ ^[a-z0-9][a-z0-9-]{1,61}[a-z0-9]$ ]] || { echo 'Invalid bucket name' >&2; exit 1; }
[[ "$run_id" =~ ^[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$ ]] || { echo 'Invalid UUID' >&2; exit 1; }
remote="spaces:$space/rclone-demo-$run_id"
[[ ! -e upload && ! -e download ]] || { echo 'Use a fresh local working directory' >&2; exit 1; }
existing=$(./rclone --config ./spaces.conf lsf "$remote" --recursive)
[[ -z "$existing" ]] || { echo 'Choose a new, empty demo prefix' >&2; exit 1; }
mkdir upload
mkdir download
mkdir upload/nested
printf 'Hello from rclone\n' > upload/hello.txt
printf '\000\001\177\200\377' > 'upload/nested/café 💾.bin'
: > upload/empty.txt
printf 'Remove this demo object during sync\n' > upload/obsolete.txt
./rclone --config ./spaces.conf copy ./upload "$remote"
./rclone --config ./spaces.conf lsjson "$remote" --recursive --files-only --s3-list-chunk 2
./rclone --config ./spaces.conf copy "$remote" ./download
./rclone --config ./spaces.conf check ./upload ./download --download
printf 'Verified the downloaded file tree. Remote prefix: %s\n' "$remote"
Space のバケット名を指定して実行してください。Linux では、以下で使用するファイルから新しい UUID を取得できます。
bash spaces-demo.sh your-space "$(cat /proc/sys/kernel/random/uuid)"
JSON の一覧には hello.txt、empty.txt、obsolete.txt、nested/café 💾.bin が含まれるはずです。一覧のページサイズを二つのオブジェクトにしているのは、この小さなツリーで意図的にページネーションを試すためであり、スループット上の推奨値ではありません。copy はディレクトリの内容を転送するため、リモートキーに余分な
upload/ ディレクトリは含まれません。保存先にのみ存在するファイルは保持しますが、同じ名前で内容が変わったファイルは置き換えることがあります。上書きを防止する操作ではありません。
最後の check --download は、ローカルの両方のツリーを読み取り、内容を比較します。転送の成功ステータスやファイルサイズの一致だけでは、このバイト単位の検証にはなりません。いずれかのコマンドが失敗すると、スクリプトは停止します。完了したアップロードがデモ用プレフィックスに残り、ローカルのダウンロードは未完了になる場合があります。再試行する前に、その結果を確認してください。新たに実行する際は、スクリプトを続行させるために見覚えのない保存先を削除するのではなく、新しい作業ディレクトリと UUID を使用してください。
削除前に対象範囲を限定した同期をプレビュー
syncは、保存先にのみ存在するファイルの削除も含めて、保存先をソースと一致させます。一方向の操作であり、それぞれに加えた編集をマージするものではありません。引数を逆にすると、ローカルディレクトリが保存先になり、ローカルにしかないファイルが削除されるおそれがあります。
転送が成功したら、出力されたリモートプレフィックスを以下のコマンドにコピーしてください。このブロックを spaces-sync.sh として保存します。ローカルのデモの obsolete.txt だけを削除し、同じ UUID プレフィックスへの同期をプレビューします。実際の同期を承認する前にプレビューを確認してください。バケットのルートや、他の書き込み元と共有するプレフィックスに置き換えないでください。
#!/usr/bin/env bash
set -euo pipefail
remote=${1:?Supply the printed demo prefix}
[[ "$remote" =~ ^spaces:[a-z0-9][a-z0-9-]{1,61}[a-z0-9]/rclone-demo-[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$ ]] || { echo 'Expected a demo prefix' >&2; exit 1; }
rm -f ./upload/obsolete.txt
./rclone --config ./spaces.conf sync ./upload "$remote" --dry-run
read -r -p 'Type sync to apply these destination changes: ' answer
[[ "$answer" == sync ]] || { echo 'Sync canceled'; exit 1; }
./rclone --config ./spaces.conf sync ./upload "$remote"
./rclone --config ./spaces.conf check ./upload "$remote" --download
bash spaces-sync.sh spaces:your-space/rclone-demo-REPLACE_WITH_THE_PRINTED_UUID
プレビューでは、削除対象として obsolete.txt が表示されるはずです。承認後は、リモートプレフィックスに残りの三つのファイルが含まれ、最後の検証でそれらの内容を
upload とバイト単位で比較します。元の download には、四つのファイルがすべて残っています。ドライランが示すのは観測時点の状態であり、その後の変更を防ぐために保存先をロックするものではありません。このプレフィックスに他の書き込み元が書き込まないようにしてください。残りのデモ用オブジェクトは、削除するまで Space に残ります。
失敗したコマンドの診断
次に進む前に、コマンドの終了ステータスと診断メッセージを確認してください。アクセス拒否は、無効なキーやバケット権限の不足が原因の可能性がありますが、ファイルを公開する理由にはなりません。選択した spaces.conf、バケット名、オリジンエンドポイントを確認してください。このチュートリアルでは、アカウント内のすべてのバケットを一覧表示するより、既知のバケットプレフィックスを一覧表示する方が適切なテストになります。
コピーに失敗しても、正常に転送されたファイルの一部が残ることがあります。一覧でそれらを特定し、転送を完了してからバイト単位の検証をやり直してください。未完了のアップロードを修復するために同期を実行しないでください。check が不一致を示した場合は、ダウンロードしたファイルを使用する前に、指摘されたファイルを調べてください。
この演習の範囲を超えるスケジュール実行、フィルタリング、クライアント側の暗号化については、rclone のドキュメントを参照してください。これらには、それぞれ専用の設定が必要です。上記の s3 の設定では、rclone のクライアント側の暗号化や圧縮は適用されません。
ご自身での運用は避けたいですか?
Transloadit は、単一の API 呼び出し内の処理の一環として、S3、Azure、Google Cloud などにファイルをエクスポートします。
