複数の CPU コアで pigz を使った tar の並列圧縮
未圧縮の tar アーカイブをパイプで pigz に渡すと、複数の CPU コアでプロジェクトを圧縮できます。出力は通常の .tar.gz ファイルなので、受け取った側は pigz をインストールせずに
gzip と tar で展開できます。以下では、このアーカイブを作成し、ログを除外して、復元したファイルを元のファイルと比較します。
ツールの確認
Linux 上で Bash と GNU tar を使います。例は Ubuntu 22.04 上の GNU tar 1.34、pigz 2.6、Bash 5.1 と、Ubuntu 26.04 上の GNU tar 1.35、pigz 2.8、Bash 5.3 でテストしています。Ubuntu または Debian では、次のコマンドで pigz をインストールします。
sudo apt-get update && sudo apt-get install pigz
続行する前に、インストールされたバージョンを確認してください。
bash --version && tar --version && pigz --version && gzip --version
以下のコマンドは、これらの GNU/Linux 環境を対象としています。macOS には別の tar 実装が付属し、ほかの Linux ディストリビューションではパッケージの提供状況も異なります。これらの環境のセットアップは、この手順では扱いません。
小規模なプロジェクトの作成
以下の各ブロックは、同じ Bash セッションで実行してください。新しい pigz-demo ディレクトリを作成できるディレクトリで開始します。
mkdir pigz-demo &&
cd pigz-demo &&
mkdir project &&
printf 'Keep this project file.\n' > project/README.txt &&
printf 'Omit this debug log.\n' > project/debug.log
&& によるコマンドの連結により、準備に失敗すると処理が停止します。pigz-demo がすでに存在する場合は、別の場所を選んでください。このブロックは、既存のディレクトリを意図的に再利用しません。実行後は pigz-demo 内に移動し、project/ の下にファイルが 2つある状態になります。
プロジェクトの圧縮
丸括弧も含めて、次のブロック全体を実行してください。
(
set -e
set -o pipefail
set -o noclobber
tar --exclude='*.log' -cf - project | pigz -p 4 -6 > project.tar.gz
printf 'Created project.tar.gz\n'
)
ここでは、tar -c がディレクトリをまとめ、-f - がアーカイブを標準出力に書き出します。pigz はそのストリームを、最大 4つの圧縮スレッドとデフォルトの圧縮レベル 6 で圧縮します。アーカイブに自身の出力が含まれないよう、project.tar.gz は
project/ の外に置いてください。ここでは tar の -z フラグを追加しないでください。追加すると、pigz に届く前にストリームが圧縮されます。
出力時の方針は、既存のアーカイブへの出力を拒否することです。Bash の noclobber オプションにより、非対話形式での再実行時も含め、リダイレクトによる既存の通常ファイルの置き換えを防ぎます。別のアーカイブも残すには、新しい出力名を選んでください。丸括弧は、これらのシェルオプションの適用範囲をこの処理だけに限定します。
pipefail を使うと、tar または pigz のどちらかが失敗した時点でパイプラインが失敗し、set -e によって成功メッセージの表示前にブロックが停止します。これがないと、失敗した tar コマンドの不完全なストリームを
pigz が正常に圧縮してしまう場合があります。失敗した実行では、不完全な project.tar.gz が残ることがあります。gzip の整合性テストに合格しても、使用しないでください。エラーを調査し、新しい出力名を選んでから再試行してください。Bash のパイプラインとシェルオプションのドキュメントを参照してください。
除外対象の選択
引用符で囲んだ --exclude='*.log' パターンは、project/debug.log を含め、プロジェクトディレクトリ配下のログを除外します。引用符で囲むことで、シェルではなく tar がワイルドカードを解釈します。ログもアーカイブに含める場合は、このオプションを削除してください。除外対象を増やすには、GNU tar の --exclude オプションを繰り返すか、1行に 1つのパターンを記述したファイルを --exclude-from で指定します。これらは正規表現ではなく、シェル形式のパターンです。GNU tar の除外に関するドキュメントを参照してください。
アーカイブの検証と復元
作成が成功したら、gzip ストリームを検査し、アーカイブ内の項目を一覧表示します。
gzip -t project.tar.gz && tar -tzf project.tar.gz
gzip -t は、成功時には何も出力しません。サンプルプロジェクトでは、続いて tar が次の内容を出力します。
project/
project/README.txt
これらの検査で確認する対象は異なります。gzip は圧縮データの整合性をテストし、一覧表示ではアーカイブに含まれるパスを確認できます。どちらも、意図したすべてのソースファイルが取り込まれたことを証明するものではありません。整合性テストについては、gzip マニュアルに記載されています。
新しいディレクトリに展開し、復元したファイルを元のファイルと比較します。
mkdir restored &&
tar -xzf project.tar.gz -C restored &&
cmp project/README.txt restored/project/README.txt &&
printf 'Restored README.txt matches the original.\n'
最後のメッセージは、展開とバイト単位の比較が成功した場合にのみ表示されます。最初の mkdir は、既存の
restored ディレクトリがある場合に処理を拒否するため、このブロックを再実行しても、以前の復元内容は上書きされません。展開に失敗した場合はエラーを調べ、次の試行では新しい展開先を使ってください。実際のプロジェクトでは、サンプルの README だけでなく、復旧が必要なファイルを比較してください。
スレッド数と圧縮レベルの選択
まず -6 を使います。サイズより圧縮時間を重視する場合は -1 を、出力サイズの削減により多くの CPU 時間をかけられる場合は -9 を試してください。レベルを上げても、圧縮が速くなるわけではありません。-p を指定しない場合、pigz はデフォルトでオンラインのプロセッサ数を使います。ほかの処理も実行するマシンでは、上限を明示すると役立ちます。これらの設定は、pigz マニュアルで説明されています。
上の小さなサンプルは、速度ではなく正しさを確認するためのものです。代表的なプロジェクトを用意し、内容が変化しない状態にしたら、同じ圧縮レベルで圧縮スレッドが 1つの場合と 4つの場合を比較します。
(
set -e
set -o pipefail
for threads in 1 4; do
printf 'Compression threads: %s\n' "$threads"
time tar --exclude='*.log' -cf - project | pigz -p "$threads" -6 > /dev/null
done
)
Bash の time はパイプライン全体を計測します。real の経過時間を比較してください。この処理では圧縮出力を破棄するため、アーカイブをディスクに書き込まずに、読み取りと圧縮を計測します。実際のデータでも繰り返してください。ファイルシステムのキャッシュ、使用可能な CPU、ストレージのスループット、圧縮済みファイルの有無によって結果は変わります。一定の高速化率を期待できるわけではありません。
pigz は圧縮を並列化しますが、通常の gzip の伸長では、依然として 1つの伸長スレッドを使い、読み取り、書き込み、チェックサムの処理には補助スレッドを使います。展開時に同じように性能が向上するとは期待しないでください。この違いは、pigz マニュアルで説明されています。
バックアップジョブでのアーカイブの利用
実際のプロジェクトをアーカイブする前に、ファイルを変更するプロセスを停止するか、ファイルシステムのスナップショットをアーカイブしてください。tar は、稼働中のディレクトリを、ある時点で整合性の取れたバックアップにするものではありません。定期実行のジョブでは絶対パスを使い、実行ごとに新しい出力名を指定し、結果を転送または分割する前の失敗検出処理を維持してください。
このワークフローでは、完全なローカルアーカイブを 1つ作成します。増分バックアップのチェーン、SSH 転送、分割アーカイブには、それぞれ専用の失敗処理と復元手順が必要です。新しいアーカイブと復旧が必要なファイルの確認が済むまでは、正常であることが最後に確認できたバックアップを保持してください。
