Última actualización: 11 de septiembre

Gestionar archivos en DigitalOcean Spaces con Rclone vía CLI

Kevin van Zonneveld

Cofundador · Ámsterdam, Países Bajos ·

La gestión de archivos en el almacenamiento en la nube puede ser un reto para los desarrolladores. Con Rclone, una herramienta de línea de comandos robusta y de código abierto, puedes gestionar sin esfuerzo archivos en DigitalOcean Spaces, un servicio de almacenamiento de objetos escalable y compatible con S3. En este DevTip explicamos cómo aprovechar Rclone para listar, subir, descargar y sincronizar archivos, agilizando así tu flujo de trabajo.

¿Qué es Rclone?

Rclone es un programa de línea de comandos de código abierto diseñado para gestionar archivos en diversas plataformas de almacenamiento en la nube. Es compatible con numerosos proveedores, entre ellos DigitalOcean Spaces, Amazon S3, Google Drive y más. Su funcionalidad es similar a la de rsync, pero está optimizado para entornos en la nube.

¿Por qué usar Rclone con DigitalOcean Spaces?

Usar Rclone con DigitalOcean Spaces ofrece varias ventajas:

Gestión eficiente de archivos desde la CLI: ejecuta operaciones con archivos directamente desde tu terminal.
Integración fluida: DigitalOcean Spaces es compatible con S3, lo que permite interacciones sencillas.
Sincronización de archivos: mantén sincronizados tus directorios locales y tus Spaces remotos con facilidad.
Gestión de transferencias de archivos grandes: maneja archivos grandes sin complicaciones.
Cifrado y compresión integrados: protege y optimiza tus datos automáticamente.
Apto para la automatización: programa y automatiza con scripts tus transferencias rutinarias con facilidad.
Compatibilidad multiplataforma: disponible para Windows, macOS y Linux.
Fiabilidad del código abierto: aprovecha el soporte de la comunidad y un desarrollo transparente.

Instalar Rclone

Empieza instalando Rclone en tu sistema. Los comandos de instalación varían según tu sistema operativo:

Para Linux y macOS:

curl -fsSL https://rclone.org/install.sh | sudo bash

Como alternativa, puedes usar un gestor de paquetes.

En macOS con Homebrew:

brew install rclone

En Linux (Ubuntu/Debian) con apt:

sudo apt install rclone

Para Windows:

Descarga la última versión desde la página de descargas de Rclone.
Extrae el archivo ZIP.
Mueve rclone.exe a un directorio incluido en el PATH de tu sistema.

Verifica tu instalación con:

rclone version

Configurar Rclone para DigitalOcean Spaces

Como DigitalOcean Spaces es compatible con S3, puedes configurar Rclone para que use el protocolo S3. Sigue estos pasos para configurar tu remoto:

Ejecuta el asistente de configuración de Rclone:
```
rclone config
```
Escribe n para crear un remoto nuevo.
Introduce un nombre para tu remoto (por ejemplo, do-spaces).
En Storage, introduce s3. En provider, introduce DigitalOcean. Usa estos identificadores en lugar de los números de menú, que pueden cambiar entre versiones.
Mantén env_auth con el valor false e introduce tus credenciales de DigitalOcean Spaces en access_key_id y secret_access_key. Genera estas claves en tu panel de control de DigitalOcean.
Deja region y location_constraint en blanco. Configura endpoint con el endpoint de tu DigitalOcean Spaces (por ejemplo, nyc3.digitaloceanspaces.com), que incluye la región.
Mantén el resto de los valores predeterminados salvo que tu aplicación necesite otros ajustes. Para la configuración avanzada, escribe n cuando se te pregunte.
Confirma que tu configuración es correcta.

Tu remoto do-spaces ya está listo para usarse.

Comandos básicos de Rclone

Con tu remoto configurado, ya puedes gestionar archivos en DigitalOcean Spaces desde la línea de comandos.

Listar archivos

Lista todos los archivos de un Space concreto (bucket):

rclone ls do-spaces:your-bucket-name

Lista los archivos con detalles adicionales:

rclone lsl do-spaces:your-bucket-name

Lista todos los buckets (Spaces):

rclone lsd do-spaces:

Recuerda reemplazar your-bucket-name por el nombre real de tu bucket.

Subir archivos

Para subir un solo archivo:

rclone copy /path/to/local/file do-spaces:your-bucket-name

Para subir un directorio completo:

rclone copy /path/to/local/directory do-spaces:your-bucket-name

Descargar archivos

Descarga un archivo de tu Space:

rclone copy do-spaces:your-bucket-name/remote/file /path/to/local/destination/

Sincronizar directorios

A diferencia de rclone copy, rclone sync elimina los archivos del destino que no están en el origen. Comprueba la dirección con cuidado y revisa una ejecución de prueba antes de permitir la eliminación. Para previsualizar cómo hacer que tu Space coincida con un directorio local:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --dry-run

Para previsualizar cómo hacer que un directorio local coincida con tu Space, incluida la eliminación de los archivos que solo existen en local:

rclone sync do-spaces:your-bucket-name /path/to/local/directory --dry-run

Elimina --dry-run solo después de revisar los cambios previstos y de conservar las copias de seguridad necesarias. Usa rclone copy en su lugar cuando deban conservarse los archivos que solo existen en el destino.

Automatizar tareas con Rclone

La capacidad de Rclone para automatizar tareas de gestión de archivos es uno de sus mayores puntos fuertes. Puedes programar comandos con cron en Linux/macOS o con el Programador de tareas en Windows.

Automatizar con cron (linux/macos)

Crea un script de shell (por ejemplo, sync_to_spaces.sh):

#!/bin/bash
rclone copy /path/to/local/directory do-spaces:your-bucket-name

Haz que el script sea ejecutable:
```
chmod +x sync_to_spaces.sh
```
Edita tu crontab con:
```
crontab -e
```
Añade la siguiente línea para ejecutar el script todos los días a las 2 a. m.:
```
0 2 * * * /path/to/sync_to_spaces.sh
```

Automatizar con el Programador de tareas (Windows)

Crea un archivo por lotes (por ejemplo, sync_to_spaces.bat):

rclone sync C:\path\to\local\directory do-spaces:your-bucket-name

Abre el Programador de tareas y crea una tarea nueva para ejecutar el archivo por lotes según la programación que elijas.

Funciones avanzadas de Rclone

Rclone incluye varias funciones potentes para afinar aún más tu flujo de trabajo de gestión de archivos.

Limitar el ancho de banda

Evita que Rclone consuma todo tu ancho de banda disponible limitando la velocidad de subida o de descarga. Por ejemplo, para limitar la velocidad de subida a 1 MB/s:

rclone copy --bwlimit 1M /path/to/local/file do-spaces:your-bucket-name

Excluir archivos

Excluye archivos o patrones concretos durante la sincronización. Por ejemplo:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --exclude "*.tmp" --exclude "cache/**"

Registro

Activa el registro detallado para diagnosticar problemas o supervisar las operaciones:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --log-file /path/to/logfile.log --log-level INFO

Cifrado

Asegúrate de que tus archivos se cifren antes de subirlos para mayor seguridad. Para configurar un remoto cifrado:

Ejecuta el asistente de configuración:
```
rclone config
```
Crea un remoto nuevo y asígnale un nombre (por ejemplo, do-spaces-encrypted).
En Storage, introduce crypt para Encrypt/Decrypt a remote.
En remote (Remote to encrypt/decrypt), introduce do-spaces:your-bucket-name.
Configura las opciones de cifrado como prefieras.

Una vez configurado, usar el remoto do-spaces-encrypted cifrará automáticamente tus archivos antes de subirlos.

Solución de problemas comunes

Errores de conexión

Si tienes problemas de conexión:

Verifica que tu conexión a internet sea estable.
Revisa con atención los detalles de tu configuración de Rclone, incluidos el endpoint y la región correctos.
Asegúrate de que tu Access Key y tu Secret Key sean válidas.

Errores de permiso denegado

Si te encuentras con problemas de permisos:

Confirma que tu Access Key de DigitalOcean Spaces tiene los permisos necesarios.
Asegúrate de que el Space de destino existe y de que estás usando el nombre de bucket correcto.

Conflictos de sincronización

Las modificaciones de archivos en cualquiera de los dos lados pueden provocar conflictos. Para evitar la pérdida de datos:

Usa la opción --backup-dir para guardar los archivos sobrescritos:

rclone sync /path/to/local/directory do-spaces:your-bucket-name --backup-dir do-spaces:your-bucket-name-backup

Como alternativa, usa la opción --checksum para comparar los archivos por sus sumas de verificación en lugar de por sus fechas de modificación.

Problemas de acceso

Si tienes problemas para acceder a los archivos después de subirlos:

Comprueba y ajusta los permisos de los archivos en DigitalOcean Spaces.
Verifica que los archivos estén en el directorio o la ruta correctos.

Conclusión

Rclone es una herramienta eficaz y de código abierto para gestionar archivos en DigitalOcean Spaces desde la línea de comandos. Tanto si necesitas subir, descargar, sincronizar como automatizar la gestión de archivos, Rclone simplifica tu flujo de trabajo y maneja con facilidad los archivos grandes y las tareas rutinarias.

Al integrar Rclone en tu flujo de trabajo, puedes aumentar la productividad y agilizar las operaciones con archivos. Para flujos de trabajo más avanzados de procesamiento y transformación de archivos, considera explorar el servicio de Exportación de archivos de Transloadit.