Zuletzt aktualisiert: 11. September

Datei-Hashes herunterladen und prüfen: Leitfaden für Entwickler

Tim Koschützki

Mitgründer · Berlin, Deutschland ·

Die Überprüfung der Dateiintegrität ist unerlässlich, um sicherzustellen, dass heruntergeladene Dateien während der Übertragung nicht beschädigt oder manipuliert wurden. In diesem Leitfaden zeigen wir einen zweistufigen Prozess: Zuerst laden Sie mit cURL sowohl die Datei als auch die zugehörige Prüfsummendatei herunter, anschließend überprüfen Sie die Integrität der Datei mithilfe von Systemwerkzeugen wie sha256sum.

Datei-Hashes verstehen

Ein Datei-Hash ist eine eindeutige Zeichenfolge fester Länge, die als digitaler Fingerabdruck des Dateiinhalts dient. Zu den gängigen Hash-Algorithmen gehören:

SHA-256 (empfohlen für den allgemeinen Gebrauch)
SHA-512 (für erhöhte Sicherheit)
SHA-1 (Legacy – für sicherheitskritische Anwendungen vermeiden)
MD5 (Legacy – für sichere Überprüfung vermeiden)

Datei-Hashes sind entscheidend, um Software-Downloads zu überprüfen, unbefugte Dateiänderungen zu erkennen, die Datenintegrität sicherzustellen und Caching-Mechanismen zu implementieren.

Dateien und ihre Hashes herunterladen

Die meisten Softwaredistributionen stellen neben dem Download eine separate Prüfsummendatei bereit. Wenn Sie beide Dateien herunterladen, können Sie überprüfen, ob die empfangene Datei dem erwarteten Hash entspricht. Zum Beispiel:

# Download both the file and its sha-256 checksum
curl -fsSLO https://example.com/file.tar.gz
curl -fsSLO https://example.com/file.tar.gz.sha256

Die Flags -fsSLO sorgen dafür, dass cURL bei HTTP-Fehlern stillschweigend fehlschlägt, im Silent-Modus arbeitet und dabei Fehler anzeigt, Weiterleitungen folgt und die Datei unter demselben Namen wie in der URL speichert.

Praxisbeispiel: ein cURL-Release überprüfen

Betrachten Sie als Beispiel die Überprüfung eines cURL-Releases. Dieses Beispiel lädt das Release und seine Prüfsumme herunter und überprüft anschließend die Integrität mithilfe von sha256sum:

# Download cURL release and its checksum
curl -fsSLO https://curl.se/download/curl-8.5.0.tar.gz
curl -fsSLO https://curl.se/download/curl-8.5.0.tar.gz.sha256

# Verify the checksum
sha256sum -c curl-8.5.0.tar.gz.sha256

Diese Methode wurde mit cURL 8.5.0 und den Standard-Linux-Werkzeugen verifiziert.

Überprüfung mit bash automatisieren

Integrieren Sie die Dateiüberprüfung mit einem bash-Skript in Ihren Workflow, das eine Datei und ihre Prüfsumme herunterlädt und anschließend ihre Integrität überprüft:

#!/bin/bash

set -euo pipefail

FILE_URL="https://example.com/file.tar.gz"
FILE_NAME="$(basename "$FILE_URL")"

# Download file and checksum with retry mechanism
curl -fsSL --retry 3 -o "$FILE_NAME" "$FILE_URL"
curl -fsSL --retry 3 -o "$FILE_NAME.sha256" "$FILE_URL.sha256"

# Verify file integrity
if sha256sum -c "$FILE_NAME.sha256"; then
    echo "✓ File verification successful"
else
    echo "✗ File verification failed" >&2
    exit 1
fi

Sicherheitsaspekte

HTTPS verwenden: Laden Sie Dateien und Prüfsummen immer über HTTPS herunter, um sich vor Manipulation zu schützen.
Quellen vertrauen: Stellen Sie sicher, dass sowohl die Datei als auch ihre Prüfsumme aus seriösen Quellen stammen.
Auswahl des Hash-Algorithmus: Bevorzugen Sie sichere Algorithmen wie SHA-256 oder SHA-512; vermeiden Sie MD5 und SHA-1.
Authentizität überprüfen: Überprüfen Sie Prüfsummendateien, sofern verfügbar, mithilfe von GPG-Signaturen, um ihre Authentizität zu bestätigen.

GitHub-Actions-Integration

Automatisieren Sie die Dateiüberprüfung innerhalb Ihrer CI/CD-Pipeline mit GitHub Actions:

name: Verify Downloaded Files

on: [push, pull_request]

jobs:
  verify:
    runs-on: ubuntu-latest
    steps:
      - name: Download File and Checksum
        run: |
          curl -OL "$DOWNLOAD_URL"
          curl -OL "$DOWNLOAD_URL.sha256"
        env:
          DOWNLOAD_URL: https://example.com/file.tar.gz

      - name: Verify Checksum
        run: sha256sum -c *.sha256

Dieses Beispiel lädt die Datei und ihre Prüfsumme herunter und überprüft anschließend die Integrität mithilfe von sha256sum.

Fehlerbehebung

Probleme mit abweichenden Hashes:
- Überprüfen Sie, ob beide Dateien vollständig heruntergeladen wurden (prüfen Sie die Dateigrößen).
- Stellen Sie sicher, dass die Prüfsummendatei korrekt formatiert ist, ohne zusätzliche Leerzeichen oder falsche Zeilenenden.
Download-Probleme:
- Vergewissern Sie sich, dass die URL erreichbar und die Netzwerkverbindung stabil ist.
- Prüfen Sie, ob ausreichend Speicherplatz vorhanden ist.
Häufige Fehlermeldungen:
- sha256sum: no properly formatted checksum lines found: Überprüfen Sie das Format der Prüfsummendatei.
- curl: (22) HTTP error: Überprüfen Sie die URL und die erforderlichen Berechtigungen.

Bewährte Verfahren

Laden Sie Dateien und Prüfsummen immer über HTTPS herunter.
Verwenden Sie zur Überprüfung einen sicheren Hash-Algorithmus wie SHA-256.
Implementieren Sie eine automatisierte Überprüfung in Skripten oder CI/CD-Pipelines.
Überwachen und aktualisieren Sie Ihre Überprüfungsskripte, um auf Änderungen an Hash-Standards oder auf abgekündigte Werkzeuge zu reagieren.

Fazit

Die Überprüfung der Dateiintegrität ist unerlässlich für eine sichere Softwareverteilung und den Schutz Ihres Entwicklungsworkflows. Indem Sie cURL zum Herunterladen von Dateien und Systemwerkzeuge wie sha256sum zur Überprüfung verwenden, stellen Sie sicher, dass Ihre Daten nicht manipuliert wurden. Dieser Ansatz lässt sich nahtlos in manuelle wie auch in automatisierte Abläufe integrieren.

Wenn Sie robuste Lösungen für die Verarbeitung von Datei-Uploads benötigen, bietet Transloadit fortschrittliche Funktionen, die Datenintegrität und Sicherheit in Ihrem gesamten Workflow sicherstellen.