ローカルに保存せずサーバー間で tar アーカイブをストリーミング
サーバー間でディレクトリをコピーするには、転送元の tar コマンドを、SSH 経由で転送先の tar コマンドへパイプで渡します。アーカイブは手元のコンピューターを通過しますが、ローカルファイルとしては保存されません。転送先には展開後のファイルを格納する空き容量が必要ですが、どちらのサーバーにも中間アーカイブ用の空き容量は不要です。
経路は 転送元サーバー → 手元のコンピューター → 転送先サーバー です。手元のコンピューターがストリーム全体を中継するため、接続を維持する必要があります。サーバー同士が SSH で接続できる必要はありません。データを手元のコンピューターに一切通したくない場合は、必要なサーバーへの接続環境と認証情報を備えたホストで転送を実行してください。
SSH は各サーバーとの通信を暗号化します。アーカイブはローカルのパイプ内で復号され、転送先に送るために再び暗号化されるので、信頼できるコンピューターを使用してください。転送時の暗号化のために、このパイプラインに OpenSSL のパスワードを追加する必要はありません。
転送元と転送先の準備
この例では、転送元アカウントのホームディレクトリにある app-data を、転送先アカウントのホームディレクトリ内の新しい app-data.incoming ディレクトリにコピーします。source-server と destination-server は、SSH のエイリアスまたは
user@host 形式のアドレスに置き換えてください。データが別の場所にある場合は、両方のスクリプトのパスを調整してください。
スクリプトを実行するコンピューターには Bash が必要です。また、GNU tar、GNU find、GNU sha256sum がある Linux アカウントのそれぞれに、OpenSSH でアクセスする必要があります。転送元アカウントにはすべてのファイルの読み取り権限が、転送先アカウントには受信用ディレクトリとその内容を作成する権限が必要です。開始前に鍵認証を設定し、暗号化された鍵は SSH エージェントに読み込んで、両方のサーバーのホスト鍵を確認してください。コマンドは
BatchMode=yes を使用するため、転送中にパスワードやホスト鍵の確認を求める代わりに失敗します。
コピーと検証が終わるまで転送元ディレクトリへの書き込みを停止するか、整合性のあるスナップショットから読み取ってください。Web アプリケーションの場合は、アップロードやバックグラウンドジョブによる書き込みも対象です。データベースのデータには、そのデータベースのバックアップ手順を使用してください。稼働中のデータベースファイルを tar でコピーしても、整合性のあるバックアップにはなりません。これらのコマンドはファイルをコピーするものです。アプリケーションの設定とトラフィックの切り替えは別の作業です。
これらの例は、Linux 上の Bash 5.1.16、GNU tar 1.34、OpenSSH 8.9p1 でテストしています。チェックサムの手順は GNU find と coreutils を使用しており、macOS 向けのコマンド例ではありません。
新しいディレクトリへのストリーミング
手元のコンピューターで以下を transfer.sh として保存し、bash transfer.sh で実行してください。
#!/usr/bin/env bash
set -euo pipefail
ssh -T -o BatchMode=yes source-server 'test -d app-data'
ssh -T -o BatchMode=yes destination-server 'mkdir app-data.incoming'
ssh -T -o BatchMode=yes source-server 'tar -cf - -C app-data .' |
ssh -T -o BatchMode=yes destination-server 'tar -xf - -C app-data.incoming'
printf 'Transfer completed; verify app-data.incoming before using it.\n'
オプションなしの mkdir は、受信用ディレクトリがすでに存在する場合に意図的に失敗します。再試行には新しいパスを選ぶか、失敗した転送のディレクトリを確認して削除してから実行してください。これにより、既存のアプリケーションディレクトリに上書き展開することを防ぎます。
tar ストリーミングの基礎
tar -cf - では、c がアーカイブを作成し、f - が標準出力に送ります。tar -xf - では、x が標準入力から読み取ったアーカイブを展開します。これらは、一般に tar cf - と tar xf - と記述する操作と同じです。
-C app-data は、. をアーカイブする前に tar の作業ディレクトリを変更します。そのため、ドットファイルも含め、格納項目の名前は ./uploads/photo.jpg のようになり、後から削除する必要のあるディレクトリの接頭辞は付きません。展開時の -C は、これらの項目を app-data.incoming 配下に配置します。このディレクトリ自体は作成しません。
-T は SSH の疑似端末割り当てを無効にし、接続でバイナリデータを扱えるようにします。pipefail は、いずれかの SSH コマンドが失敗したときにパイプラインを失敗させます。その後、set -e が完了メッセージの前にスクリプトを停止します。pipefail がないと、転送元の tar プロセスが展開可能なアーカイブを生成した後に失敗しても、転送先は正常終了することがあります。SSH はリモートコマンドの終了ステータスを返すため、Bash でその失敗を検出できます。
正常終了すると完了メッセージが表示され、コピーされたディレクトリツリーが
app-data.incoming に残ります。失敗した場合は、不完全なファイルが残ることがあります。終了ステータスがゼロであっても、完了メッセージが表示されても、変更中の転送元を整合性のある状態でコピーできた証拠にはなりません。
コピーしたファイルの検証
転送元を変更せず、以下を verify.sh として保存してください。転送後に bash verify.sh を実行します。
#!/usr/bin/env bash
set -euo pipefail
ssh -T -o BatchMode=yes source-server \
'cd app-data && find . -type f -exec sha256sum -- {} +' |
ssh -T -o BatchMode=yes destination-server \
'cd app-data.incoming && sha256sum --check --strict -'
printf 'Regular-file checksums match.\n'
この処理では、チェックサム一覧もローカルに保存せず、サーバー間でストリーミングします。GNU sha256sum --check は、一致したファイルごとに ./filename: OK を出力し、ファイルが欠落している場合や一致しない場合は失敗します。GNU
find -exec … {} + もチェックサムコマンドが失敗すると失敗を返すため、このパイプラインの転送元側も検証されます。最終メッセージが表示されるのは、両側が成功した場合だけです。
この検証では、両方のサーバーですべての通常ファイルを再度読み取ります。通常ファイルが少なくともひとつ存在することを前提とし、ファイルの内容を検証しますが、シンボリックリンクのリンク先、空のディレクトリ、権限、所有者、転送先の余分なファイルは検証しません。これはディレクトリのコピー手順であり、システム全体のバックアップではありません。ACL や拡張属性の保持も指定していません。アプリケーションをコピー先のディレクトリに切り替える前に、必要なメタデータを確認してください。
必要に応じた転送の調整
進捗を表示するには、手元のコンピューターに pv をインストールし、転送パイプラインに挿入してください:ssh … | pv | ssh …。パイプラインは pipefail を指定したスクリプト内に置いてください。pv のマニュアルには、バイト数、経過時間、転送速度の説明があります。ストリームの合計サイズが不明な場合、意味のある完了率や完了予測時間は表示できません。出力はローカルのパイプを通過するバイト数の測定値であり、検証済みファイルの数ではありません。
アクセスに踏み台ホストが必要な場合は、両方のスクリプトの各 SSH コマンドに
-J bastion-host を追加してください。そのホストの認証とホスト鍵の検証も設定します。ProxyJump は踏み台経由で接続先に接続しますが、ふたつの SSH コマンドをつなぐパイプは引き続き手元のコンピューターで動作します。コマンドラインオプションは通常、最終的な接続先に適用されるため、踏み台ホストの認証鍵やポートの設定は SSH 設定ファイルに記述してください。
帯域幅が限られた接続で圧縮効果のあるデータを転送する場合は、tar -cf - を tar -czf - に、tar -xf - を tar -xzf - に変更してください。これは tar の --gzip オプションを使用し、両方のサーバーに gzip が必要です。CPU 時間を消費し、すでに圧縮された動画、画像、アーカイブにはほとんど効果がない場合があります。高速になると決めつけず、実際のファイルと接続環境で測定してください。
よくある問題のトラブルシューティング
- 権限拒否またはディスク容量不足: 両方の SSH コマンドの標準エラー出力を読んでください。転送元の読み取り権限、転送先の権限、空き容量、利用可能な inode を確認します。原因を修正して新しい受信用ディレクトリでやり直し、不完全なコピーは使用しないでください。
- 「File changed as we read it」: 書き込み処理を停止するかスナップショットを使用し、転送とチェックサム検証をやり直してください。警告を抑制しても、稼働中のデータのコピーに整合性を持たせることはできません。
- 予期しないアーカイブエラー: リモートシェルの起動ファイルは、非対話型コマンドの実行時に挨拶などを標準出力に出してはいけません。その出力がアーカイブのストリームに混入します。診断メッセージは標準エラー出力に送り、
2>&1や|&で標準エラー出力をパイプに混ぜないでください。 - 接続切断: この tar ストリームは転送を再開できません。
tmuxやscreenは、端末から切り離してもプロセスを実行し続けられますが、転送パイプライン内の切れた SSH 接続は修復できません。新しいディレクトリへの転送を最初からやり直し、使用前に検証してください。
