tar と Zstd で .tar.zst アーカイブを作成し LZ4 と比較
tar の出力を zstd または lz4 にパイプで渡すと、圧縮ツールと設定を明示的に選択できます。以下の手順では、両方のアーカイブを作成してファイルを復元し、同じ入力で圧縮時間とサイズを測定します。各アーカイブに新しい名前を付けるのは、圧縮が成功した後だけです。コマンドを再実行しても、既存のアーカイブは置き換えられません。
ツールの確認
Bash、GNU tar、GNU coreutils、diff、Python 3.9 以降、Zstd、LZ4 1.10.0 以降を備えた Linux を使用してください。以下のコマンドは、GNU tar 1.35、Bash 5.3.15、Zstd 1.5.7、LZ4 1.10.0、Python 3.14.7 でテストしています。不足しているツールをディストリビューションのパッケージマネージャーでインストールし、次のコマンドで確認します。
tar --version
bash --version
zstd --version
lz4 --version
python3 --version
ln --version
使用する tar の実装は重要です。GNU tar は --zstd に対応していますが、--lz4 オプションはありません。bsdtar はアーカイブ作成時に両方のオプションに対応しています。また、読み込み時にはこれらの形式を検出します。この手順では GNU tar と別個の圧縮ツールを使用します。特に、後述の ln -T は GNU のオプションであるため、macOS/BSD シェル向けの手順ではありません。
再現可能なソースディレクトリの作成
すべての Bash ブロックを同じ開始ディレクトリから実行してください。丸括弧によって、cd とシェルオプションの適用範囲を各ブロック内に限定しています。セットアップでは既存の tar-lab ディレクトリの再利用を拒否するため、以前の実験を上書きしません。
(
set -euo pipefail
mkdir tar-lab
cd -- tar-lab
mkdir project
python3 - <<'PY'
from pathlib import Path
import random
project = Path("project")
with (project / "records.csv").open("xb") as output:
for index in range(1_000_000):
output.write(f"{index:08d},user-{index % 1000:04d},GET,/assets/app.js,200\n".encode())
(project / "binary.bin").write_bytes(random.Random(0).randbytes(8 * 1024 * 1024))
(project / "empty.txt").touch()
(project / "omit.log").write_text("Exclude this log.\n", encoding="utf-8")
PY
)
このテストデータは、構造化テキスト、決定的な疑似乱数バイト列、空のファイルを組み合わせたものです。アーカイブの作成中はソースを変更しないでください。tar コマンドが成功しても、アプリケーションが変更中のファイルの整合性のあるスナップショットが得られるわけではありません。
以前の出力を置き換えないアーカイブの作成
どちらの例も project/ をアーカイブし、ネストしたログも含めて、*.log に一致する名前を除外します。パターンは引用符で囲まれているため、シェルで展開されずに tar に渡されます。tar の -c はアーカイブを作成し、-f - はそれを標準出力に送ります。圧縮ツールは、ソースツリーの外にある、最終アーカイブと同じ親ディレクトリ内の新しい一時ディレクトリに書き込みます。
pipefail を指定すると、圧縮ツールが成功しても、生成側の tar が失敗すればパイプライン全体が失敗します。ただし、シェルのリダイレクトで開かれるファイルは保護されません。> は、tar の実行前に古いバックアップを切り詰めるおそれがあります。ここでは一時出力だけをリダイレクトします。圧縮ツールの整合性テストに合格した後、GNU の ln -T で、完成したバイト列に最終的な名前を付けます。-f がなければ、既存のファイル、ディレクトリ、シンボリックリンクがある場合は処理を拒否します。一時名と最終名は、ハードリンクの要件に従って同じファイルシステム上に置きます。終了時のトラップは、通常の成功時にも失敗時にも一時ディレクトリを削除します。
Zstd アーカイブの作成
圧縮レベルは三、圧縮ワーカーは一つに設定します。Zstd CLI マニュアルでは、-T1 は I/O と並行して動作する一つの圧縮ワーカーを意味し、--single-thread とは異なります。
(
set -euo pipefail
cd -- tar-lab
stage=$(mktemp -d .zstd.XXXXXX)
trap 'rm -rf -- "$stage"' EXIT
tar --exclude='*.log' -cf - project | zstd -3 -T1 -c > "$stage/archive"
zstd -t "$stage/archive"
ln -T -- "$stage/archive" project.tar.zst
printf 'Created project.tar.zst\n'
)
LZ4 アーカイブの作成
こちらも圧縮レベルは一、圧縮ワーカーは一つに設定します。LZ4 1.10.0 でマルチスレッド圧縮が追加されました。CLI マニュアルに -T1 の説明があります。それ以前の LZ4 リリースは、このオプションに対応していません。
(
set -euo pipefail
cd -- tar-lab
stage=$(mktemp -d .lz4.XXXXXX)
trap 'rm -rf -- "$stage"' EXIT
tar --exclude='*.log' -cf - project | lz4 -1 -T1 -c > "$stage/archive"
lz4 -t "$stage/archive"
ln -T -- "$stage/archive" project.tar.lz4
printf 'Created project.tar.lz4\n'
)
成功すると、対応する Created メッセージが最後に表示されます。再実行するとゼロ以外のステータスが返され、project/ がなくなっていても、既存のアーカイブのバイト列は変わりません。別のアーカイブを作成するには、別の最終ファイル名を選んでください。再実行を成功させるためだけに以前のバックアップを削除しないでください。強制終了や電源断が発生すると、一時ファイルが残る場合があります。これらのコマンドは、クラッシュ時のデータの永続性を保証しません。
ファイルの復元と比較
整合性テストは圧縮ストリームを検証しますが、保存したかったファイルが含まれていることまでは確認できません。新しいディレクトリに復元し、変更していないソースと比較します。
(
set -euo pipefail
cd -- tar-lab
zstd -t project.tar.zst
mkdir restored-zstd
zstd -dc project.tar.zst | tar -xf - -C restored-zstd
diff -r --exclude='*.log' project restored-zstd/project
printf 'Zstd restore matches the source.\n'
)
(
set -euo pipefail
cd -- tar-lab
lz4 -t project.tar.lz4
mkdir restored-lz4
lz4 -dc project.tar.lz4 | tar -xf - -C restored-lz4
diff -r --exclude='*.log' project restored-lz4/project
printf 'LZ4 restore matches the source.\n'
)
diff の出力がなく、対応する成功メッセージが表示されることを確認してください。復元されたツリーには records.csv、binary.bin、empty.txt が含まれ、omit.log は含まれません。この比較で確認するのは名前とファイル内容であり、所有者、権限、ファイルシステムのすべてのメタデータではありません。復元を再実行すると、既存の復元先ディレクトリの使用を拒否します。展開に失敗すると、新しいツリーが不完全な状態で残る場合があります。比較に合格して初めて、復元が成功したと判断してください。これらのコマンドは、自分で作成した信頼できるアーカイブに使用してください。
同じ tar ストリームでトレードオフを測定
セットアップ後、開始ディレクトリからこのブロックを実行してください。格納順序、タイムスタンプ、所有者情報を固定した一時的な未圧縮 tar アーカイブを作成し、各圧縮ツールとデコーダーを測定します。コーデックごとに一回のウォームアップと五回の測定を行います。デコードしたすべての tar アーカイブは、入力のバイト列と一致しなければなりません。再利用するのはベンチマーク専用の一時ファイルだけで、作成済みのアーカイブや復元済みのファイルは変更しません。
python3 - <<'PY'
import hashlib
from pathlib import Path
from statistics import median
import subprocess
from tempfile import TemporaryDirectory
from time import perf_counter
def digest(path):
return hashlib.sha256(path.read_bytes()).digest()
def timed(command, source, destination):
with source.open("rb") as stdin, destination.open("wb") as stdout:
started = perf_counter()
subprocess.run(command, stdin=stdin, stdout=stdout, check=True)
return perf_counter() - started
with TemporaryDirectory(prefix="benchmark-", dir="tar-lab") as temporary:
work = Path(temporary)
raw = work / "input.tar"
with raw.open("xb") as output:
subprocess.run([
"tar", "--sort=name", "--mtime=@0", "--owner=0", "--group=0",
"--numeric-owner", "--exclude=*.log", "-cf", "-", "project",
], cwd="tar-lab", stdout=output, check=True)
expected = digest(raw)
raw_size = raw.stat().st_size
print(f"tar bytes: {raw_size}")
print("codec bytes compressed/tar compress_s decompress_s")
for codec, options in [("zstd", ["-3", "-T1"]), ("lz4", ["-1", "-T1"])]:
packed, decoded = work / codec, work / "decoded.tar"
samples = []
for run in range(6):
compress = timed([codec, *options, "-q", "-c"], raw, packed)
decompress = timed([codec, "-q", "-dc"], packed, decoded)
if digest(decoded) != expected:
raise RuntimeError(f"{codec} changed the tar bytes")
if run > 0:
samples.append((compress, decompress))
size = packed.stat().st_size
print(f"{codec} {size} {size / raw_size:.3f} "
f"{median(c for c, d in samples):.4f} {median(d for c, d in samples):.4f}")
PY
測定時間にはサブプロセスの起動とローカルファイルの I/O が含まれますが、tar の作成、格納ファイルの展開、SHA-256 による比較は含まれません。これはキャッシュが温まった状態での測定であり、ディスクのスループットテストではありません。比率は、圧縮後のバイト数を未圧縮 tar のバイト数で割った値で、小さいほど良好です。
2026年9月24日、AMD Ryzen AI Max+ 395 CPU を搭載した Linux x86-64 環境で、このテストデータから 50,401,280 バイトの tar アーカイブが生成されました。前述のバージョンのツールを使用した場合、経過時間の中央値は次のとおりでした。
| 圧縮設定 | アーカイブのバイト数 | 圧縮後/tar | 圧縮時間 | 伸長時間 |
|---|---|---|---|---|
Zstd -3 -T1 | 8,946,393 | 0.178 | 0.0281 s | 0.0124 s |
LZ4 -1 -T1 | 15,830,951 | 0.314 | 0.0519 s | 0.0332 s |
今回の実行では、Zstd のアーカイブのほうが小さく、どちらの処理も比較対象より短時間で完了しました。繰り返しの多い CSV 構造と一台のマシンでの測定時間だけで、普遍的な順位は決まりません。ワークロードに適した圧縮ツールを選ぶ前に、テストデータを代表的なファイルに置き換え、受け取り側がその形式をデコードできることも確認してください。短時間の実行は、マシン上のほかの処理の影響を受けやすくなります。
バックアップワークフローへの結果の活用
圧縮は、ファイルの選択やバックアップ履歴とは分けて扱ってください。find で最近変更されたファイルを選択しても、削除は追跡されません。一連の変更を復元可能な形で保存するには、GNU tar の増分バックアップ手順に従ってください。バックアップのスケジュール設定は、失敗時と復元時の処理をテストしてから行い、以前に正常に作成できたアーカイブは、保持ポリシーで削除が認められるまで保持してください。
SSH で転送する場合は、完成したアーカイブをコピーし、転送先で検証してください。アーカイブを複数の部分に分割する場合は、再結合できるように正確な順序を保持し、復元前に再結合したファイルを検証してください。転送も分割も、ここで測定した圧縮ツールの選択を変えるものではありません。
