プロセス置換による中間ディスク書き込みなしのストリーミング
ストリームをファイル名で受け取るコマンドには Bash のプロセス置換を使い、別のコマンドの標準出力を読み取れる場合はパイプラインを使います。この手順では、両方で失敗を検出する方法を確認してから、圧縮した tar アーカイブをローカル HTTP 受信サーバーにアップロードし、受信したファイルを比較します。
Linux 環境で、Bash 5.2.21 以降、GNU sort、diff、cmp、GNU tar 1.35、gzip 1.12 以降、cURL 8.5.0 以降、Node.js 24.15.0 以降を使用してください。この例は Bash 5.3.15、gzip 1.14、cURL 8.22.0、Node.js 26.8.1 でもテスト済みです。保存したシェルスクリプトは sh ではなく bash で実行してください。受信サーバーは Node.js のネイティブ TypeScript サポートを使い、拡張子に .mts を明示します。受信サーバー用のパッケージのインストールは不要です。
まず、次のコードを Bash に貼り付けて、小さなデータセットを作成します。丸括弧により、現在のディレクトリは変わりません。&& は、stream-demo がすでに存在するか、ディレクトリの移動に失敗すると、セットアップを停止します。
(
mkdir stream-demo &&
cd stream-demo &&
mkdir input &&
printf 'pear\napple\n' >input/left.txt &&
printf 'apple\npear\n' >input/right.txt &&
printf '\000\377\200binary\n' >input/bytes.bin &&
: >input/empty
)
stream-demo でターミナルを二つ開いてください。以下のスクリプトをそのディレクトリに保存し、以降のコマンドはすべてそこから実行します。
プロセス置換の仕組み
<(command) を使うと、Bash は出力元のコマンドを非同期で起動し、その出力を参照するファイル名を渡します。Linux では通常、/dev/fd/63 のようになります。これはストリームなので、読み取り側は通常のファイルのようにシークできるとは限りません。逆向きの形式 >(command) では、書き込んだ内容がそのコマンドの入力になるファイル名を取得できます。詳しくは Bash のプロセス置換マニュアルを参照してください。
便利に見えるワンライナー diff <(sort file1.txt) <(sort file2.txt) には落とし穴があります。両方のファイルが存在しない場合、両方の出力元コマンドが失敗しても、diff は空のストリーム同士を比較してゼロを返すことがあります。pipefail は、これらのバックグラウンドの出力元コマンドの終了ステータスを収集しません。
次のコードを compare.sh として保存してください。ストリームを開いたまま、各出力元コマンドの PID を直ちに記録し、両方の終了を待ってから比較のステータスを報告します。
#!/usr/bin/env bash
if (( $# != 2 )); then
printf 'Usage: bash compare.sh FILE1 FILE2\n' >&2
exit 2
fi
exec {left}< <(LC_ALL=C sort -- "$1")
left_pid=$!
exec {right}< <(LC_ALL=C sort -- "$2")
right_pid=$!
diff "/dev/fd/$left" "/dev/fd/$right"
comparison=$?
exec {left}<&- {right}<&-
wait "$left_pid"; left_status=$?
wait "$right_pid"; right_status=$?
if (( left_status != 0 || right_status != 0 )); then
printf 'Cannot compare: a sort failed.\n' >&2
exit 2
fi
exit "$comparison"
bash compare.sh input/left.txt input/right.txt を実行してください。出力がなく、終了ステータスがゼロなら、ソート後の内容は一致しています。内容が異なる場合は一、出力元コマンドが失敗した場合は二を返します。このスクリプトは意図的に set -e を使わずに終了ステータスを収集するため、あるコマンドが失敗しても、残りの wait がスキップされません。プロセス置換の終了待機については、Bash の wait リファレンスに記載されています。
中間ディスク書き込みなしでストリーミングする利点
以下のアップロードでは、送信側で中間アーカイブを作成しません。ただし、ソースファイルの読み取りは発生し、受信サーバーは最終的なアーカイブを書き込みます。したがって、「ディスクを使わない」のは中間転送であり、ワークフロー全体ではありません。sort でさえ、入力が大きいと一時ファイルに書き出すことがあります。
アーカイブを事前に保存しなければ、その分のディスク容量と書き込み・読み取りを省けます。ただし、高速化が保証されるわけではありません。圧縮、ストレージ、ネットワークのいずれもスループットの制約になり得ます。また、失敗後に cURL が再読み取りできる、シーク可能なコピーも残りません。
コマンド間のデータストリーミング
tar と cURL の連携には、通常のパイプで十分です。tar が標準出力にアーカイブを書き出し、cURL が標準入力から読み取ります。まず、リクエストを実際に受け付ける受信サーバーを用意します。次のコードを receiver.mts として保存してください。
import { createWriteStream } from 'node:fs'
import { createServer } from 'node:http'
import { pipeline } from 'node:stream'
const server = createServer((request, response) => {
if (request.method !== 'PUT' || request.url !== '/archive') {
request.resume()
response.writeHead(404).end()
return
}
pipeline(request, createWriteStream('received.tar.gz', { flags: 'wx', mode: 0o600 }), (error) => {
if (error) {
console.error('Upload failed; inspect received.tar.gz before retrying.')
response.destroy()
return
}
response.writeHead(201).end()
})
})
同じファイルに、次の起動コードを追記してください。ポートにゼロを指定すると、OS に空きポートを要求します。省略可能な数値引数を指定すると、特定のポートを選択できます。
const port = Number(process.argv[2] ?? 0)
if (!Number.isInteger(port) || port < 0 || port > 65535) {
throw new Error('Port must be an integer from 0 to 65535')
}
server.on('error', (error) => {
console.error('Receiver could not listen:', error.message)
process.exitCode = 1
})
server.listen(port, '127.0.0.1', () => {
const address = server.address()
if (!address || typeof address === 'string') throw new Error('Missing listening address')
console.log(`http://127.0.0.1:${address.port}/archive`)
})
最初のターミナルで node receiver.mts を実行し、そのまま起動しておきます。表示された URL をコピーしてください。受信サーバーはループバックにのみバインドし、HTTP/1.1 のチャンク形式のアップロードを受け付け、Node の
pipeline を使って received.tar.gz にバイト列をストリーミングします。wx フラグは既存のファイルへの書き込みを拒否します。アップロードが失敗すると不完全なファイルが残ることがあり、ストレージエラーが起きると接続を閉じます。この小規模なローカル受信サーバーには、認証、アップロードサイズのポリシー、アーカイブの検証はありません。外部に公開せず、一度に一件ずつアップロードしてください。
次に、以下の引数チェックを upload.sh の先頭部分として保存してください。
#!/usr/bin/env bash
if (( $# != 2 )); then
printf 'Usage: bash upload.sh DIRECTORY URL\n' >&2
exit 2
fi
if [[ $2 != https://* && ! $2 =~ ^http://127[.]0[.]0[.]1:[0-9]+/ ]]; then
printf 'Use HTTPS, or loopback HTTP for this demo.\n' >&2
exit 2
fi
upload.sh にパイプラインを追記してください。
set -o pipefail
if status=$(tar -czf - -C "$1" . |
curl --disable -fsS --http1.1 --noproxy 127.0.0.1 --globoff \
--connect-timeout 5 --max-time 60 --proto '=http,https' \
--header 'Content-Type: application/gzip' --upload-file - \
--output /dev/null --write-out '%{http_code}' --url "$2"
) && [[ $status == 201 ]]; then
printf 'Archive sent; verify the received files.\n'
else
printf 'Upload failed; inspect the receiver before retrying.\n' >&2
exit 1
fi
二つ目のターミナルで、COPIED_URL を受信サーバーの完全な URL に置き換えて、bash upload.sh input 'COPIED_URL' を実行します。転送中はソースディレクトリを変更しないでください。受信サーバーのアーカイブは input の外に置かれるため、tar が自身の出力を誤って取り込むことはありません。
ここでは、tar -czf - が gzip 圧縮のアーカイブを生成するため、コンテンツタイプは application/gzip です。cURL の --upload-file - は標準入力を読み取り、HTTP PUT で送信します。--disable は、個人用の .curlrc によってこの例の動作が変わるのを防ぎます。リダイレクトも自動再試行も行いません。このスクリプトは、パイプラインの成功に加えて、この受信サーバーから HTTP 201 が返ることを要求します。pipefail により、cURL が受け取ったバイト列の送信に成功しても、tar の失敗を検出できます。
成功メッセージが出たら、二つ目のターミナルに以下を貼り付け、新しいディレクトリに展開して、データセットをバイト単位で比較します。
(
mkdir unpacked &&
tar -xzf received.tar.gz -C unpacked &&
cmp input/left.txt unpacked/left.txt &&
cmp input/right.txt unpacked/right.txt &&
cmp input/bytes.bin unpacked/bytes.bin &&
cmp input/empty unpacked/empty &&
printf 'All four files match.\n'
)
これにより、通常のテキスト、テキストではないバイナリデータ、空のファイルを確認します。unpacked ディレクトリがすでに存在する場合は、以前の結果を上書きせず、展開を停止します。信頼できるアーカイブだけを展開してください。完了したら Ctrl+C で受信サーバーを停止します。
トラブルシューティングとベストプラクティス
tar が入力を読み取れない場合、受信サーバーが 201 を返しても、スクリプトはゼロ以外の終了ステータスを返します。この HTTP レスポンスが意味するのは、リクエスト本文全体を保存したということです。出力元コマンドが失敗したかどうかや、アーカイブに意図したファイルが含まれているかどうかは判断できません。検証するまでは、保存先のデータを確実なものとして扱わないでください。
HTTP リクエストの拒否、切断、cURL のタイムアウトでも、アップロードは失敗します。保存後、レスポンスが cURL に届く前に切断された場合、結果は不確定です。ファイルはすでに完全に保存されているかもしれません。受信サーバーが起動できない場合は、アップロード前にエラーを確認してください。ポートが使用中であっても、その受信サーバーが動作している証拠にはなりません。
パイプから読み取る cURL プロセスに --retry を追加しても、アーカイブが再生成されるわけではありません。消費済みのバイト列は巻き戻せず、cURL は tar を再起動しません。再試行のドキュメントにも、リダイレクトされた入力についての注意があります。このデモを再試行するには、受信サーバーを停止し、その received.tar.gz を調べてから別の場所に移すか削除します。その後、受信サーバーを再起動し、新しく表示された URL で
bash upload.sh を再実行してください。実行のたびに新たな出力元コマンドが起動し、アーカイブ全体を送信します。検証には新しい展開先ディレクトリを使ってください。このワークフローは転送の再開に対応していません。
高度な圧縮オプション
この手順では gzip を使い続け、出力元コマンド、ファイル名、コンテンツタイプ、展開コマンドを一致させてください。圧縮方式を切り替えると、この四つすべてが変わります。圧縮の調整はストリーミングとは別の判断です。別の形式を選ぶ前に、実際のデータで測定してください。
実環境への適用
実際の HTTP 送信先は、PUT、リクエストのストリーミング用フレーミング、想定する成功ステータスに対応している必要があります。これはマルチパートフォームのアップロードでも、SSH による展開コマンドでもありません。リモート転送では HTTPS と送信先のドキュメントに記載された認証を使い、パスワードをコマンドラインに含めないでください。このスクリプトは、ループバックのデモに限って平文 HTTP を許可し、リダイレクトには追従しません。
バイト列の再送、既知のコンテンツ長、公開前の検証が必要なら、アーカイブを事前に保存する方が適切な場合があります。本番用の受信サーバーには、アップロードされたオブジェクトを他の利用者に公開する前に適用する、独自の検証と公開のポリシーも必要です。
ストリーミングを選ぶ場面
ストリームのファイル名を要求するツールにはプロセス置換を、出力元と読み取り側がそれぞれ一つの場合はパイプラインを使います。いずれの場合も、処理を成功と判断する前に、すべての出力元コマンドの終了ステータスを確認してください。この転送経路を保守する代わりに、マネージド型の圧縮を検討する場合は、当社のファイル圧縮サービスをご覧ください。
