Zuletzt aktualisiert: 11. September

Dateien nach MinIO exportieren: ein vollständiger cURL-Leitfaden

Tim Koschützki

Mitgründer · Berlin, Deutschland ·

Der Export von Dateien nach MinIO mit cURL bietet eine flexible und leistungsstarke Möglichkeit, Object-Storage-Vorgänge über die Befehlszeile zu verwalten. MinIO ist ein hochperformantes, S3-kompatibles Object-Storage-System, das effizientes Dateimanagement und Speicherlösungen ermöglicht. Dieser Leitfaden zeigt, wie Sie cURL effektiv mit MinIO einsetzen, und behandelt Installation, Authentifizierung und Automatisierungstechniken.

Einführung in MinIO und seinen Zweck

MinIO ist ein Open-Source-Object-Storage-System, das hohe Performance und S3-Kompatibilität bietet. Es ist für großangelegte Dateninfrastrukturen und Cloud-native Anwendungen konzipiert. MinIO unterstützt Funktionen wie Verschlüsselung, Identitätsverwaltung und Multi-Site-Replikation und eignet sich damit für Unternehmensbereitstellungen.

Überblick über cURL für Dateiübertragungen

cURL ist ein vielseitiges Befehlszeilenwerkzeug, um Daten mit verschiedenen Protokollen zu übertragen. Es unterstützt HTTP, HTTPS und FTP; die S3-kompatible API von MinIO nutzt HTTP oder HTTPS. Sein umfangreicher Funktionsumfang und die breite Plattformunterstützung machen es zu einer zuverlässigen Wahl für Dateioperationen.

Ihre Umgebung einrichten: MinIO und cURL

Voraussetzungen

Verwenden Sie eine laufende MinIO-Bereitstellung und einen vorhandenen Bucket. Installieren Sie den MinIO Client als mc in Ihrem PATH sowie curl und Node.js 22 oder neuer. Installieren Sie in Ihrem Skriptverzeichnis das Node.js-SDK:

npm install minio@8

Ersteinrichtung

Setzen Sie MINIO_ENDPOINT, MINIO_ACCESS_KEY und MINIO_SECRET_KEY in Ihrer Umgebung und konfigurieren Sie anschließend den Client. Verwenden Sie Zugangsdaten, die auf den benötigten Bucket und die benötigten Vorgänge beschränkt sind. Ein Endpunkt wie http://localhost:9000 eignet sich nur für die lokale Entwicklung; nutzen Sie für entfernte Verbindungen HTTPS.

mc alias set myminio "$MINIO_ENDPOINT" "$MINIO_ACCESS_KEY" "$MINIO_SECRET_KEY"

Zugriff auf Ihren MinIO-Bucket absichern

Setzen Sie diese Sicherheitsmaßnahmen für sichere Dateioperationen um:

Aktivieren Sie TLS/SSL für verschlüsselte Verbindungen.
Verwenden Sie Umgebungsvariablen für Zugangsdaten.
Implementieren Sie geeignete Bucket-Richtlinien.
Verwenden Sie Pre-signed URLs für temporären Zugriff.

Dateien mit cURL nach MinIO exportieren

Authentifizierungsmethoden

MinIO unterstützt drei wesentliche Authentifizierungsansätze:

MinIO Client (mc) für direkte Vorgänge
Pre-signed URLs für temporären Zugriff
Offizielle SDKs für programmatischen Zugriff

Pre-signed URLs erzeugen

mc share upload erzeugt einen Upload-Befehl mit POST-Policy, keine URL für eine PUT-Anfrage. Extrahieren Sie daraus nicht die URL, um sie mit curl --upload-file wiederzuverwenden. Für ein vorsigniertes PUT verwenden Sie presignedPutObject aus dem SDK. Speichern Sie dieses CommonJS-Skript als presign.cjs:

const Minio = require('minio')

async function main() {
  const [bucket, objectName] = process.argv.slice(2)
  const { MINIO_ENDPOINT, MINIO_ACCESS_KEY, MINIO_SECRET_KEY } = process.env
  if (!bucket || !objectName || !MINIO_ENDPOINT || !MINIO_ACCESS_KEY || !MINIO_SECRET_KEY) {
    throw new Error('Provide a bucket, object name, endpoint, and credentials')
  }
  const endpoint = new URL(MINIO_ENDPOINT)
  if (!['http:', 'https:'].includes(endpoint.protocol)) {
    throw new Error('The endpoint must use HTTP or HTTPS')
  }
  const client = new Minio.Client({
    endPoint: endpoint.hostname,
    port: Number(endpoint.port || (endpoint.protocol === 'https:' ? 443 : 80)),
    useSSL: endpoint.protocol === 'https:',
    accessKey: MINIO_ACCESS_KEY,
    secretKey: MINIO_SECRET_KEY,
  })
  console.log(await client.presignedPutObject(bucket, objectName, 7200))
}

main().catch(() => {
  console.error('Unable to generate an upload URL; check configuration and bucket access')
  process.exitCode = 1
})

Die URL ist ein Bearer-Zugangsnachweis, der zwei Stunden lang gültig ist. Veröffentlichen Sie sie nicht und nehmen Sie sie nicht in Logs auf. Führen Sie dieses Skript auf einem vertrauenswürdigen Rechner aus; geben Sie den Zugriffsschlüssel und den geheimen Schlüssel niemals an Browser-Clients weiter.

Automatisierungsbeispiel

#!/bin/bash
set -euo pipefail

BUCKET="mybucket"

upload_file() {
    local file_path="$1"
    local file_name
    local presigned_url
    file_name=$(basename "$file_path")

    echo "Generating pre-signed URL for ${file_name}..."
    presigned_url=$(node presign.cjs "$BUCKET" "$file_name") || return 1

    echo "Uploading ${file_name}..."
    if curl -X PUT \
        --upload-file "${file_path}" \
        --fail-with-body \
        --silent \
        --show-error \
        "${presigned_url}"; then
        echo "Uploaded ${file_name}"
        return 0
    else
        echo "Failed to upload ${file_name}" >&2
        return 1
    fi
}

upload_file "${1:?Usage: bash upload.sh /path/to/file}"

Fortgeschrittene Techniken: komplexe Dateistrukturen handhaben

Uploads großer Dateien

Verwenden Sie für große Dateien bevorzugt mc cp: Damit werden Multipart-Uploads automatisch verwaltet, statt ein einzelnes vorsigniertes PUT zu senden. Die unterstützte Objektgröße hängt von der Serverkonfiguration ab:

mc cp large-file.zip myminio/mybucket/large-file.zip

Verzeichnissynchronisierung

Halten Sie lokale Verzeichnisse und MinIO-Verzeichnisse synchron:

mc mirror local/directory myminio/mybucket/

Häufige Probleme & Lösungen

Verbindung abgelehnt:
- Prüfen Sie, ob der MinIO-Server läuft.
- Überprüfen Sie die Firewall-Einstellungen.
- Stellen Sie sicher, dass der richtige Endpunkt und Port verwendet werden.
Zugriff verweigert:
- Prüfen Sie die Zugangsdaten.
- Überprüfen Sie die Bucket-Richtlinie.
- Stellen Sie sicher, dass die richtigen Berechtigungen gesetzt sind.
SSL/TLS-Fehler:
- Verwenden Sie das richtige Protokoll (http oder https).
- Prüfen Sie das Zertifikat, wenn Sie SSL verwenden.
- Setzen Sie die Option useSSL im SDK korrekt.

Monitoring und Logging

Verfolgen Sie den Upload-Fortschritt und protokollieren Sie nur den HTTP-Status. Dieses Bash-Beispiel erhält den Fehlerstatus über die Logging-Pipeline hinweg:

set -euo pipefail
presigned_url=$(node presign.cjs mybucket large-file.zip)
curl --fail-with-body \
  --upload-file "large-file.zip" \
  --progress-bar \
  --write-out "%{http_code}\n" \
  --output /dev/null \
  "${presigned_url}" | tee -a upload.log

Transloadit für optimierte MinIO-Exporte nutzen

Für fortgeschrittene Dateiverarbeitung und Exporte nach MinIO sollten Sie Transloadit in Betracht ziehen. Transloadit bietet robuste Funktionen zur Dateiverarbeitung und eine nahtlose Integration in verschiedene Speicherlösungen, darunter MinIO.

Fazit

Dieser Leitfaden hat die wesentlichen Aspekte der Nutzung von cURL mit MinIO für Dateiexporte behandelt, von der Installation und sicherem Zugriff bis hin zu Automatisierung und dem Umgang mit komplexen Dateistrukturen. Die bereitgestellten Skripte und Beispiele zeigen sichere und effiziente Dateioperationen. Für anspruchsvollere Anforderungen an die Dateiverarbeitung entdecken Sie die umfassenden Lösungen von Transloadit zur Dateiverwaltung unter transloadit.com.