Dateien mit Rclone nach Wasabi exportieren

Kevin van Zonneveld

Mitgründer · Amsterdam, Niederlande · Bio anzeigen

Wasabi ist ein beliebter Cloud-Storage-Anbieter, der für günstige Preise, Geschwindigkeit und Kompatibilität mit den Amazon S3 APIs bekannt ist. Entwicklerinnen und Entwickler wählen Wasabi häufig wegen des planbaren Preismodells und der leistungsstarken Speicherfunktionen.

In diesem DevTip zeigen wir, wie Sie Dateien mit dem leistungsstarken Kommandozeilen-Werkzeug rclone effizient nach Wasabi exportieren.

Was ist Wasabi und warum sollten Sie es für Cloud Storage nutzen?

Wasabi stellt Cloud-Storage-Lösungen bereit, die vollständig mit den Amazon S3 APIs kompatibel sind und sich dadurch leicht in bestehende Workflows integrieren lassen. Es bietet:

• Planbare und günstige Preise
• Sehr schnelle Datenübertragungen
• Hohe Sicherheit und Compliance
• Keine Gebühren für Egress oder API-Anfragen

Wie vereinfacht Rclone die Dateiverwaltung in der Cloud?

rclone ist ein Open-Source-Kommandozeilenwerkzeug zur Verwaltung von Dateien über verschiedene Cloud-Storage-Anbieter hinweg. Es vereinfacht Dateiübertragungen, Synchronisierung und Backups mit einer unkomplizierten CLI-Oberfläche.

Rclone für Wasabi installieren und konfigurieren

Installation

Sie können rclone mit einer dieser Methoden installieren:

# Script installation (recommended)
sudo -v ; curl https://rclone.org/install.sh | sudo bash

# Or package manager installation
brew install rclone    # macOS with Homebrew
sudo apt install rclone # Debian/Ubuntu

Überprüfen Sie die Installation:

rclone --version

Konfiguration

Konfigurieren Sie rclone für die Verbindung zu Wasabi:

rclone config

Folgen Sie den interaktiven Eingabeaufforderungen:

1. Wählen Sie n für ein neues Remote.
2. Geben Sie einen Namen für das Remote ein (z. B. wasabi).
3. Wählen Sie aus den Speicheroptionen Wasabi Object Storage.
4. Geben Sie Ihren Wasabi-Zugriffsschlüssel und Ihren geheimen Schlüssel ein.
5. Wählen Sie den passenden Endpunkt für Ihre Region (z. B. s3.wasabisys.com).
6. Lassen Sie die Standortbeschränkung leer.
7. Wählen Sie für die ACL private oder public-read.
8. Bestätigen Sie die Konfiguration.

Sicherheitsaspekte

Beim Umgang mit Zugangsdaten für Cloud Storage hat Sicherheit höchste Priorität:

• Bewahren Sie Ihre Konfigurationsdatei sicher auf - sie enthält sensible Zugangsdaten.
• Standardspeicherort der Konfiguration: ~/.config/rclone/rclone.conf (Linux/macOS) oder %USERPROFILE%\.config\rclone\rclone.conf (Windows).
• Verwenden Sie das Flag --config, um einen anderen Speicherort für die Konfiguration anzugeben.
• Erwägen Sie, in automatisierten Skripten Umgebungsvariablen für Zugangsdaten zu verwenden.

Grundlegende Rclone-Befehle zum Exportieren von Dateien

Dateien kopieren

So kopieren Sie Dateien von Ihrem lokalen Rechner nach Wasabi:

rclone copy /local/path wasabi:bucket-name/path

Dateien synchronisieren

So synchronisieren Sie ein lokales Verzeichnis mit Wasabi:

rclone sync /local/path wasabi:bucket-name/path

Erweiterte Rclone-Funktionen für effiziente Dateiübertragung

Parallele Übertragungen

Erhöhen Sie die Übertragungsgeschwindigkeit, indem Sie die parallelen Übertragungen anpassen:

rclone copy /local/path wasabi:bucket-name/path --transfers=8

Dateien filtern

Verwenden Sie Filter, um bestimmte Dateien ein- oder auszuschließen:

rclone sync /local/path wasabi:bucket-name/path --exclude "*.tmp"

Bandbreitensteuerung

Begrenzen Sie die Bandbreitennutzung, um Netzwerküberlastung zu vermeiden:

rclone copy /local/path wasabi:bucket-name/path --bwlimit=10M

Datei-Exporte nach Wasabi mit Rclone-Skripten automatisieren

Automatisieren Sie regelmäßige Backups oder Exporte mit einem einfachen Bash-Skript:

#!/bin/bash

# Backup script to wasabi
rclone sync /local/path wasabi:bucket-name/path --transfers=8 --exclude "*.tmp"

Machen Sie das Skript ausführbar und planen Sie es mit cron ein:

chmod +x backup-to-wasabi.sh
crontab -e

Fügen Sie einen Cronjob hinzu, der täglich um Mitternacht läuft:

0 0 * * * /path/to/backup-to-wasabi.sh

Häufige Rclone-Probleme mit Wasabi beheben

Häufige Probleme

1. Fehler 403 - Prüfen Sie Ihre Zugangsdaten und die Berechtigungen des Buckets.
2. Verbindung zurückgesetzt - Prüfen Sie, ob Ihr Endpunkt zur Region Ihres Buckets passt.
3. Konfigurationsdatei nicht gefunden - Verwenden Sie den absoluten Pfad mit dem Flag --config.

Befehle zur Überprüfung

Mit diesen Befehlen testen Sie Ihre Konfiguration und diagnostizieren Probleme:

# Test configuration
rclone lsd wasabi:

# Check bucket access
rclone ls wasabi:your-bucket

# Test upload speed
rclone copy --progress test.file wasabi:your-bucket/

Debugging

Für ausführlichere Fehlerinformationen verwenden Sie das Flag -v:

rclone -v copy /local/path wasabi:bucket-name/path

Für noch ausführlichere Ausgaben verwenden Sie -vv oder -vvv.

Fazit

Der Export von Dateien nach Wasabi mit rclone vereinfacht die Verwaltung von Cloud Storage und bietet leistungsstarke Funktionen wie parallele Übertragungen, Filterung und Automatisierung. Für Entwicklerinnen und Entwickler, die eine effiziente und zuverlässige Dateiverarbeitung suchen, ist es eine ausgezeichnete Wahl.

Transloadit bietet eine native Wasabi-Integration mit dem 🤖 /wasabi/store Robot als Teil unseres Dateiexport-Service.