Archive direkt mit cURL und der Kommandozeile entpacken

Kevin van Zonneveld

Mitgründer · Amsterdam, Niederlande · Bio anzeigen

Das Herunterladen und Entpacken von Archiven ist eine gängige Aufgabe. Normalerweise laden Sie das Archiv zuerst herunter und entpacken es anschließend. Aber wussten Sie, dass Sie diesen Vorgang optimieren können, indem Sie cURL mit Kommandozeilen-Tools kombinieren? Sehen wir uns an, wie das geht.

Grundlegende Befehle mit cURL zum Herunterladen

cURL ist ein leistungsstarkes Kommandozeilen-Tool zum Übertragen von Daten mit URLs. Um einfach eine Datei herunterzuladen, verwenden Sie typischerweise:

curl -fsSLo archive.zip https://example.com/archive.zip

Die verwendeten Flags haben bestimmte Zwecke:

• -f: Bei Serverfehlern (HTTP-Antwortcodes >= 400) stillschweigend fehlschlagen. cURL gibt kein HTML und keine anderen Fehlerinhalte aus.
• -s: Stiller Modus. Keine Fortschrittsanzeige und keine Fehlermeldungen anzeigen. Macht cURL still.
• -S: Fehler anzeigen. In Kombination mit -s wird dennoch eine Fehlermeldung angezeigt, wenn cURL fehlschlägt.
• -L: Weiterleitungen folgen. Wenn der Server mit einer Weiterleitung (3xx) antwortet, folgt cURL ihr.
• -o <filename>: Die Ausgabe in <filename> statt nach stdout schreiben.

Sehen wir uns nun an, wie sich Herunterladen und Entpacken für verschiedene Archivformate kombinieren lassen.

Umgang mit verschiedenen Archivformaten

Der Ansatz variiert je nach Archivtyp und den Fähigkeiten des Entpackungs-Tools.

Zip-Archive (.zip)

Der Standardbefehl unzip unterstützt das Lesen von der Standardeingabe (stdin) nicht zuverlässig, was ein direktes Piping von cURL verhindert. Die robusteste Methode besteht darin, zuerst in eine temporäre Datei herunterzuladen, dann zu entpacken und schließlich die temporäre Datei zu entfernen.

# Download, extract to current directory, then clean up
curl -fsSL https://example.com/archive.zip -o temp.zip || { echo "Download failed"; exit 1; }
unzip temp.zip || { echo "Extraction failed"; rm temp.zip; exit 1; }
rm temp.zip

Um den Inhalt in ein bestimmtes Verzeichnis zu entpacken, verwenden Sie die Option -d mit unzip:

# Download, extract to a specific directory, then clean up
curl -fsSL https://example.com/archive.zip -o temp.zip || { echo "Download failed"; exit 1; }
unzip temp.zip -d /path/to/extract || { echo "Extraction failed"; rm temp.zip; exit 1; }
rm temp.zip

Tar-gzip-Archive (.tar.gz oder .tgz)

Bei Dateien vom Typ .tar.gz können Sie die Ausgabe von cURL direkt an den Befehl tar weiterleiten. tar kann die Archivdaten von stdin lesen.

# Download and extract to current directory
curl -fsSL https://example.com/archive.tar.gz | tar xzf - || { echo "Download or extraction failed"; exit 1; }

Die Optionen von tar lauten hier:

• x: Dateien aus einem Archiv entpacken.
• z: Das Archiv durch gzip filtern (für Komprimierung mit .gz).
• f -: Das Archiv aus der angegebenen Datei lesen. - steht für die Standardeingabe.

Um in ein bestimmtes Verzeichnis zu entpacken, verwenden Sie die Option -C (beachten Sie das große C):

# Download and extract to a specific directory
curl -fsSL https://example.com/archive.tar.gz | tar xzf - -C /path/to/extract || { echo "Download or extraction failed"; exit 1; }

Gzip-Archive (.gz)

Bei einzelnen Dateien, die mit gzip komprimiert wurden (Endung .gz), können Sie die Ausgabe von cURL an gunzip weiterleiten. Da gunzip den entpackten Inhalt standardmäßig nach stdout ausgibt, müssen Sie ihn in eine Datei umleiten.

# Download and decompress to 'outputfile'
curl -fsSL https://example.com/file.gz | gunzip > outputfile || { echo "Download or decompression failed"; exit 1; }

Wenn das Archiv mit der Endung .gz selbst ein tar-Archiv enthält (wie ein .tar.gz, das aber nur mit .gz benannt ist), leiten Sie stattdessen an tar weiter, ähnlich wie im Beispiel für .tar.gz:

# If file.gz actually contains a Tar archive
curl -fsSL https://example.com/file.gz | tar xzf - || { echo "Download or extraction failed"; exit 1; }

Sicherheitsaspekte

Wenn Sie Archive direkt von URLs herunterladen und entpacken, insbesondere in automatisierten Skripten, sollten Sie diese Sicherheitspraktiken beachten:

• Quellen prüfen: Laden Sie Archive nur aus vertrauenswürdigen Quellen herunter. Schädliche Archive können Malware enthalten oder Schwachstellen in Entpackungs-Tools ausnutzen.
• Dedizierte Verzeichnisse: Entpacken Sie Archive nach Möglichkeit in dedizierte, leere Verzeichnisse. Das verhindert das versehentliche Überschreiben vorhandener Dateien.
• Path Traversal: Seien Sie vorsichtig bei Archiven, die Dateien mit absoluten Pfaden oder mit Pfaden enthalten, die nach oben navigieren (../). Einige Entpackungs-Tools bieten Optionen, um das abzumildern (z. B. kann tar mit --strip-components manchmal helfen, eine sorgfältige Prüfung ist aber erforderlich). Schädliche Archive könnten versuchen, Systemdateien zu überschreiben.
• Ressourcenerschöpfung: Sehr große Archive oder „Zip-Bomben“ (kleine Archive, die sich auf enorme Größen entpacken) können Speicherplatz oder Arbeitsspeicher erschöpfen. Setzen Sie Limits oder überwachen Sie die Ressourcennutzung, wenn Sie mit nicht vertrauenswürdigen Archiven arbeiten.
• Berechtigungen: Führen Sie Befehle zum Herunterladen und Entpacken möglichst nicht als root oder mit unnötigen Rechten aus. Entpackte Dateien könnten Berechtigungen erben, die unsicher sein können.

Häufige Fallstricke und Tipps zur Fehlerbehebung

• Falsche URL oder Netzwerkprobleme: Überprüfen Sie die URL genau. Verwenden Sie curl -v (verbose), um Verbindungsprobleme zu diagnostizieren, wenn der Download fehlschlägt.
• Berechtigungsfehler: Stellen Sie sicher, dass Ihr Skript oder Ihr Benutzer Schreibrechte im Zielverzeichnis für das Entpacken hat. Prüfen Sie die Ausgabe des Befehls unzip oder tar auf Fehler wegen fehlender Berechtigungen.
• Nicht unterstütztes Archivformat: Stellen Sie sicher, dass Sie das richtige Tool (unzip, tar, gunzip) für den Archivtyp verwenden. Der Befehl file archive.ext kann helfen, den Typ zu identifizieren.
• Beschädigte Downloads: Netzwerkprobleme können zu unvollständigen oder beschädigten Downloads führen. Fügen Sie das Flag --retry 3 zu cURL hinzu, um fehlgeschlagene Downloads automatisch einige Male zu wiederholen; das kann bei instabilen Verbindungen helfen.
• Speicherplatz: Stellen Sie sicher, dass vor dem Start des Herunterladens und Entpackens ausreichend Speicherplatz verfügbar ist, insbesondere bei großen Archiven.
• Tool nicht gefunden: Stellen Sie sicher, dass curl, unzip, tar und gunzip auf Ihrem System installiert sind.

Ihren Workflow optimieren

Die Kombination von cURL mit Kommandozeilen-Tools zum Entpacken ist besonders in Szenarien wie diesen nützlich:

• Einrichten von Entwicklungsumgebungen.
• Automatisieren von Softwareinstallationen in CI/CD-Pipelines.
• Abrufen und Verarbeiten von Datensätzen.
• Aktualisieren von Anwendungsabhängigkeiten, die als Archive abgerufen werden.

Dieser Ansatz vermeidet das Speichern der Archivdatei als Zwischenschritt, spart Speicherplatz und beschleunigt Workflows möglicherweise, insbesondere bei Dateien vom Typ tar.gz und .gz, bei denen direktes Streaming möglich ist.

Wenn Sie eine robustere, programmatische Lösung für den Umgang mit verschiedenen Archivformaten in Ihrer Anwendung benötigen, sollten Sie einen dedizierten Dienst in Betracht ziehen. Der Dienst zur Dateikomprimierung von Transloadit enthält zum Beispiel einen 🤖 /file/decompress Robot, der mehrere Formate unterstützt (ZIP, 7-Zip, RAR, GNU tar, ISO9660, CAB, LHA/LZH, XAR) und Sicherheitsmaßnahmen wie den Schutz vor Symlink-basierten Angriffen umfasst.