Dateien mit cURL & b2sum verifizieren

Tim Koschützki

Mitgründer · Berlin, Deutschland · Bio anzeigen

Die Integrität heruntergeladener Dateien sicherzustellen, ist entscheidend für Sicherheit und Zuverlässigkeit. In diesem DevTip zeigen wir, wie Sie die Integrität entfernter Dateien mit zwei leistungsstarken Kommandozeilen-Werkzeugen sicher verifizieren: cURL und b2sum. Wir behandeln praktische Beispiele, Automatisierungstechniken und praxisnahe Anwendungsfälle.

Warum Dateiintegrität wichtig ist

Die Verifizierung der Dateiintegrität stellt sicher, dass Dateien während der Übertragung nicht verändert oder beschädigt wurden. Das ist besonders wichtig beim Herunterladen von Software, Updates oder sensiblen Daten. Die Prüfung der Dateiintegrität schützt vor böswilliger Manipulation und versehentlicher Beschädigung.

cURL und b2sum im Überblick

• cURL: Ein vielseitiges Kommandozeilen-Werkzeug zum Übertragen von Daten über verschiedene Protokolle, darunter HTTP, HTTPS, FTP und weitere.
• b2sum: Ein Hashing-Werkzeug, das den BLAKE2-Algorithmus implementiert und für seine Geschwindigkeits- und Sicherheitsvorteile gegenüber traditionellen Hash-Algorithmen wie MD5 oder SHA-1 bekannt ist.

Versionskompatibilität

• b2sum: Verfügbar in GNU Coreutils v8.26 und neuer.
• cURL: Alle aktuellen Versionen unterstützen die verwendeten Optionen.
• Ziehen Sie auf älteren Systemen ohne b2sum sha256sum (weit verbreitet) in Betracht oder installieren Sie neuere Coreutils.

Dateien mit cURL herunterladen

Verwenden Sie den folgenden Befehl, um eine Datei sicher herunterzuladen:

curl -fsSLo example.tar.gz https://example.com/example.tar.gz

• -f: Bei HTTP-Fehlern stillschweigend fehlschlagen (wichtig, damit Skripte Fehler korrekt behandeln).
• -s: Stiller Modus - keine Fortschrittsanzeige.
• -S: Fehlermeldungen anzeigen (wichtig in Kombination mit -s).
• -L: Weiterleitungen folgen (bei nicht vertrauenswürdigen Quellen Vorsicht walten lassen).
• -o: Ausgabe in eine Datei (aus Sicherheitsgründen exakten Dateinamen angeben).

Datei-Hashes mit b2sum erzeugen und verifizieren

Erzeugen Sie nach dem Download einen Hash mit b2sum:

b2sum example.tar.gz

Das gibt einen Hash wie diesen aus:

130e76babb02d4fdfa14b33dfd2bde3914df6075eaa24fe994d776b4ced30b424e52e6fc26aad620e88ea78232bdfed339669651e83a2eca3c56cc50c5c2559c  example.tar.gz

Um eine Datei gegen einen bekannten Hash zu verifizieren, speichern Sie den erwarteten Hash in einer Datei (hash.txt):

130e76babb02d4fdfa14b33dfd2bde3914df6075eaa24fe994d776b4ced30b424e52e6fc26aad620e88ea78232bdfed339669651e83a2eca3c56cc50c5c2559c  example.tar.gz

Verifizieren Sie anschließend:

b2sum -c hash.txt

Ist die Datei intakt, sehen Sie:

example.tar.gz: OK

Integritätsprüfungen in Skripten automatisieren

Integritätsprüfungen von Dateien lassen sich unkompliziert automatisieren. Hier ein robustes Bash-Skript-Beispiel mit sauberer Fehlerbehandlung:

#!/bin/bash
set -euo pipefail  # Fail on errors, undefined vars, and pipeline failures

URL="https://example.com/example.tar.gz"
EXPECTED_HASH="130e76babb02d4fdfa14b33dfd2bde3914df6075eaa24fe994d776b4ced30b424e52e6fc26aad620e88ea78232bdfed339669651e83a2eca3c56cc50c5c2559c"
FILE="example.tar.gz"

# Create temporary file
TMP_FILE="$(mktemp)"
trap 'rm -f "$TMP_FILE"' EXIT

# Download with proper error handling
if ! curl -fsSLo "$TMP_FILE" "$URL"; then
    echo "Download failed!" >&2
    exit 1
fi

# Verify hash before moving to final location
if echo "$EXPECTED_HASH  $TMP_FILE" | b2sum -c -; then
    mv "$TMP_FILE" "$FILE"
    echo "File integrity verified."
else
    echo "File integrity check failed!" >&2
    exit 1
fi

Dieses Skript lädt die Datei an einen temporären Speicherort herunter, verifiziert ihre Integrität und verschiebt sie nur dann an den endgültigen Speicherort, wenn die Verifizierung erfolgreich ist.

Sicherheitsaspekte

1. Laden Sie immer aus vertrauenswürdigen Quellen über HTTPS herunter.
2. Verifizieren Sie Hash-Prüfsummen, bevor Sie heruntergeladene Dateien verwenden.
3. Seien Sie beim Folgen von Weiterleitungen vorsichtig (Option -L).
4. Verwenden Sie in Produktionsskripten spezifische Versionen.
5. Ziehen Sie GPG-Signaturen für zusätzliche Sicherheit in Betracht.

Praxisbeispiele und Anwendungsfälle

• Softwareverteilung: Stellen Sie sicher, dass Softwarepakete nicht manipuliert wurden.
• Automatisierte Deployments: Verifizieren Sie Dateien vor dem Deployment in CI/CD-Pipelines.
• Backup-Verifizierung: Bestätigen Sie, dass Backups intakt und unverändert sind.

b2sum bei Transloadit

Bei Transloadit unterstützt unser 🤖 /file/hash Robot mehrere Hashing-Algorithmen, darunter BLAKE2 (b2). SHA-256 ist zwar der Standardalgorithmus, doch Sie können „b2“ als Algorithmus-Parameter angeben, um in Ihren Assembly Instructions BLAKE2-Hashing zu nutzen, wenn Sie unseren Dienst zur Medienkatalogisierung verwenden.

Indem Sie diese einfachen, aber leistungsstarken Werkzeuge in Ihren Workflow integrieren, können Sie die Sicherheit und Zuverlässigkeit Ihrer Dateiverarbeitungsprozesse deutlich erhöhen.