Zuletzt aktualisiert: 11. September

Dateien in DigitalOcean Spaces per CLI mit Rclone verwalten

Kevin van Zonneveld

Mitgründer · Amsterdam, Niederlande ·

Die Dateiverwaltung im Cloud-Speicher kann für Entwickler eine Herausforderung sein. Mit Rclone, einem robusten Open-Source-Kommandozeilen-Tool, verwalten Sie mühelos Dateien in DigitalOcean Spaces, einem skalierbaren, S3-kompatiblen Objektspeicherdienst. In diesem DevTip erklären wir, wie Sie Rclone zum Auflisten, Hochladen, Herunterladen und Synchronisieren von Dateien einsetzen und so Ihren Workflow verschlanken.

Was ist Rclone?

Rclone ist ein Open-Source-Kommandozeilenprogramm für die Verwaltung von Dateien auf verschiedenen Cloud-Speicher-Plattformen. Es unterstützt zahlreiche Anbieter, darunter DigitalOcean Spaces, Amazon S3, Google Drive und weitere. Seine Funktionsweise ähnelt der von rsync, ist jedoch für Cloud-Umgebungen optimiert.

Warum Rclone mit DigitalOcean Spaces verwenden?

Der Einsatz von Rclone mit DigitalOcean Spaces bietet mehrere Vorteile:

Effiziente Dateiverwaltung per CLI: Führen Sie Dateioperationen direkt in Ihrem Terminal aus.
Nahtlose Integration: DigitalOcean Spaces ist mit S3 kompatibel und ermöglicht so unkomplizierte Interaktionen.
Dateisynchronisierung: Halten Sie lokale Verzeichnisse und entfernte Spaces mühelos synchron.
Umgang mit großen Dateiübertragungen: Verwalten Sie große Dateien ohne Aufwand.
Integrierte Verschlüsselung und Komprimierung: Sichern und optimieren Sie Ihre Daten automatisch.
Automatisierungsfreundlich: Skripten und planen Sie Routine-Dateiübertragungen ganz einfach.
Plattformübergreifende Unterstützung: Verfügbar für Windows, macOS und Linux.
Open-Source-Zuverlässigkeit: Profitieren Sie von Community-Support und transparenter Entwicklung.

Rclone installieren

Installieren Sie Rclone zunächst auf Ihrem System. Die Installationsbefehle unterscheiden sich je nach Betriebssystem:

Für Linux und macOS:

curl -fsSL https://rclone.org/install.sh | sudo bash

Alternativ können Sie einen Paketmanager verwenden.

Unter macOS mit Homebrew:

brew install rclone

Unter Linux (Ubuntu/Debian) mit apt:

sudo apt install rclone

Für Windows:

Laden Sie die neueste Version von der Rclone-Downloadseite herunter.
Entpacken Sie die ZIP-Datei.
Verschieben Sie rclone.exe in ein Verzeichnis, das im PATH Ihres Systems enthalten ist.

Überprüfen Sie Ihre Installation mit:

rclone version

Rclone für DigitalOcean Spaces konfigurieren

Da DigitalOcean Spaces mit S3 kompatibel ist, können Sie Rclone für das S3-Protokoll konfigurieren. Folgen Sie diesen Schritten, um Ihr Remote einzurichten:

Starten Sie den Konfigurationsassistenten von Rclone:
```
rclone config
```
Geben Sie n ein, um ein neues Remote zu erstellen.
Geben Sie einen Namen für Ihr Remote ein (z. B. do-spaces).
Geben Sie bei Storage den Wert s3 ein. Geben Sie bei provider den Wert DigitalOcean ein. Verwenden Sie diese Bezeichner anstelle von Menünummern, die sich zwischen Versionen ändern können.
Belassen Sie env_auth auf dem Wert false und geben Sie Ihre Zugangsdaten für DigitalOcean Spaces bei access_key_id und secret_access_key ein. Diese Schlüssel erzeugen Sie in Ihrem DigitalOcean-Kontrollpanel.
Lassen Sie region und location_constraint leer. Setzen Sie endpoint auf Ihren Endpoint für DigitalOcean Spaces (z. B. nyc3.digitaloceanspaces.com), der die Region enthält.
Behalten Sie die übrigen Standardwerte bei, sofern Ihre Anwendung keine anderen Einstellungen benötigt. Geben Sie für die erweiterte Konfiguration bei der entsprechenden Abfrage n ein.
Bestätigen Sie, dass Ihre Einstellungen korrekt sind.

Ihr Remote do-spaces ist nun einsatzbereit.

Grundlegende Rclone-Befehle

Sobald Ihr Remote konfiguriert ist, können Sie Dateien in DigitalOcean Spaces über die Kommandozeile verwalten.

Dateien auflisten

Listen Sie alle Dateien in einem bestimmten Space (Bucket) auf:

rclone ls do-spaces:your-bucket-name

Dateien mit zusätzlichen Details auflisten:

rclone lsl do-spaces:your-bucket-name

Alle Buckets (Spaces) auflisten:

rclone lsd do-spaces:

Denken Sie daran, your-bucket-name durch Ihren tatsächlichen Bucket-Namen zu ersetzen.

Dateien hochladen

So laden Sie eine einzelne Datei hoch:

rclone copy /path/to/local/file do-spaces:your-bucket-name

So laden Sie ein ganzes Verzeichnis hoch:

rclone copy /path/to/local/directory do-spaces:your-bucket-name

Dateien herunterladen

Laden Sie eine Datei aus Ihrem Space herunter:

rclone copy do-spaces:your-bucket-name/remote/file /path/to/local/destination/

Verzeichnisse synchronisieren

Anders als rclone copy löscht rclone sync Dateien am Ziel, die in der Quelle nicht vorhanden sind. Prüfen Sie die Richtung sorgfältig und sehen Sie sich einen Testlauf an, bevor Sie das Löschen zulassen. So zeigen Sie in einer Vorschau, wie Ihr Space an ein lokales Verzeichnis angeglichen wird:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --dry-run

So zeigen Sie in einer Vorschau, wie ein lokales Verzeichnis an Ihren Space angeglichen wird, einschließlich des Löschens von Dateien, die nur lokal vorhanden sind:

rclone sync do-spaces:your-bucket-name /path/to/local/directory --dry-run

Entfernen Sie --dry-run erst, nachdem Sie die geplanten Änderungen geprüft und alle nötigen Backups angelegt haben. Verwenden Sie stattdessen rclone copy, wenn Dateien erhalten bleiben müssen, die nur am Ziel vorhanden sind.

Aufgaben mit Rclone automatisieren

Die Fähigkeit von Rclone, Aufgaben der Dateiverwaltung zu automatisieren, ist eine seiner größten Stärken. Sie können Befehle mit cron unter Linux/macOS oder mit der Aufgabenplanung unter Windows planen.

Automatisierung mit cron (Linux/macOS)

Erstellen Sie ein Shell-Skript (zum Beispiel sync_to_spaces.sh):

#!/bin/bash
rclone copy /path/to/local/directory do-spaces:your-bucket-name

Machen Sie das Skript ausführbar:
```
chmod +x sync_to_spaces.sh
```
Bearbeiten Sie Ihre crontab mit:
```
crontab -e
```
Fügen Sie die folgende Zeile hinzu, um das Skript täglich um 2 Uhr morgens auszuführen:
```
0 2 * * * /path/to/sync_to_spaces.sh
```

Automatisierung mit der Aufgabenplanung (Windows)

Erstellen Sie eine Batch-Datei (zum Beispiel sync_to_spaces.bat):

rclone sync C:\path\to\local\directory do-spaces:your-bucket-name

Öffnen Sie die Aufgabenplanung und erstellen Sie eine neue Aufgabe, die die Batch-Datei nach Ihrem gewählten Zeitplan ausführt.

Erweiterte Rclone-Funktionen

Rclone bietet mehrere leistungsstarke Funktionen, mit denen Sie Ihren Workflow zur Dateiverwaltung weiter verfeinern.

Bandbreitenbegrenzung

Verhindern Sie, dass Rclone Ihre gesamte verfügbare Bandbreite beansprucht, indem Sie die Upload- oder Download-Geschwindigkeit begrenzen. So begrenzen Sie beispielsweise die Upload-Geschwindigkeit auf 1 MB/s:

rclone copy --bwlimit 1M /path/to/local/file do-spaces:your-bucket-name

Dateien ausschließen

Schließen Sie bestimmte Dateien oder Muster bei der Synchronisierung aus. Zum Beispiel:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --exclude "*.tmp" --exclude "cache/**"

Protokollierung

Aktivieren Sie eine detaillierte Protokollierung, um Fehler zu beheben oder Vorgänge zu überwachen:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --log-file /path/to/logfile.log --log-level INFO

Verschlüsselung

Stellen Sie für zusätzliche Sicherheit sicher, dass Ihre Dateien vor dem Upload verschlüsselt werden. So richten Sie ein verschlüsseltes Remote ein:

Starten Sie den Konfigurationsassistenten:
```
rclone config
```
Erstellen Sie ein neues Remote und vergeben Sie einen Namen (z. B. do-spaces-encrypted).
Geben Sie bei Storage den Wert crypt für Encrypt/Decrypt a remote ein.
Geben Sie bei remote (Remote to encrypt/decrypt) den Wert do-spaces:your-bucket-name ein.
Konfigurieren Sie die Verschlüsselungsoptionen nach Wunsch.

Nach der Konfiguration verschlüsselt das Remote do-spaces-encrypted Ihre Dateien automatisch vor dem Upload.

Häufige Probleme beheben

Verbindungsfehler

Wenn Verbindungsprobleme auftreten:

Prüfen Sie, ob Ihre Internetverbindung stabil ist.
Kontrollieren Sie Ihre Rclone-Konfiguration genau, einschließlich des korrekten Endpoints und der korrekten Region.
Stellen Sie sicher, dass Ihr Access Key und Ihr Secret Key gültig sind.

Fehler wegen fehlender Berechtigungen

Wenn Berechtigungsprobleme auftreten:

Vergewissern Sie sich, dass Ihr Access Key für DigitalOcean Spaces über die nötigen Berechtigungen verfügt.
Stellen Sie sicher, dass der angesprochene Space existiert und dass Sie den richtigen Bucket-Namen verwenden.

Synchronisierungskonflikte

Dateiänderungen auf einer der beiden Seiten können zu Konflikten führen. So vermeiden Sie Datenverlust:

Verwenden Sie das Flag --backup-dir, um überschriebene Dateien zu sichern:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --backup-dir do-spaces:your-bucket-name-backup

Verwenden Sie alternativ das Flag --checksum, um Dateien anhand ihrer Prüfsummen statt anhand des Änderungsdatums zu vergleichen.

Zugriffsprobleme

Wenn Sie nach dem Upload Probleme beim Zugriff auf Dateien haben:

Prüfen und passen Sie die Dateiberechtigungen in DigitalOcean Spaces an.
Stellen Sie sicher, dass die Dateien im richtigen Verzeichnis bzw. Pfad liegen.

Fazit

Rclone ist ein effektives Open-Source-Tool, um Dateien in DigitalOcean Spaces über die Kommandozeile zu verwalten. Ob Sie Dateien hochladen, herunterladen, synchronisieren oder die Dateiverwaltung automatisieren möchten: Rclone vereinfacht Ihren Workflow und bewältigt dabei große Dateien und Routineaufgaben mühelos.

Indem Sie Rclone in Ihren Workflow integrieren, steigern Sie die Produktivität und verschlanken Ihre Dateioperationen. Für anspruchsvollere Workflows zur Dateiverarbeitung und -transformation lohnt sich ein Blick auf den Dateiexport-Dienst von Transloadit.