Große Medienbibliotheken per Batch verarbeiten und migrieren

Von Hunderten Gigabyte bis zu Migrationen im Terabyte-Bereich

Nutzen Sie Transloadit als verwaltete API für Dateiverarbeitung bei einer einmaligen Migration von Cloud-Speicher, einem großen Media-Backfill oder wiederkehrender Massenverarbeitung von Dateien. Importieren Sie aus Ihrem bestehenden Speicher, transformieren Sie jede Datei und exportieren Sie die Ergebnisse, ohne die gesamte Bibliothek durch Ihre Anwendungsserver zu leiten.

1. Quelle inventarisieren

   Wählen Sie die Buckets, Präfixe oder Objektpfade für die Migration aus und schätzen Sie die Gesamtzahl der Dateien und Bytes.

2. Seitenweise in Assemblies aufteilen

   Teilen Sie große Speicherpräfixe seitenweise in Assemblies mit jeweils etwa 500–1.000 Dateien auf, je nach Aufwand pro Datei, und reichen Sie diese in kontrolliertem Tempo ein.

3. Parallel verarbeiten

   Wenden Sie ein gespeichertes Template auf die gesamte Migration an. Jobs, die der Batch Queue zugewiesen sind, teilen sich Ihre Batch-Slots in jeder Region.

4. Exportieren und abgleichen

   Schreiben Sie die Ergebnisse in dasselbe oder ein neues Speicherziel und prüfen Sie dann jede Assembly, bevor Sie Dateien als abgeschlossen markieren.

Sie verantworten die Enden, wir die Mitte

Bei Ihrer Anwendung bleiben die Teile, die von Ihren Daten abhängen: auswählen, was migriert wird, es in Batches in Assembly-Größe in einem von Ihnen gesteuerten Tempo übermitteln und festhalten, was zurückkommt. Das sind eine Inventarschleife und ein idempotenter Callback-Handler.

Alles zwischen diesen beiden Punkten übernehmen wir: den Import der Bytes, das Scheduling über die Flotte und ihre Queues, die Ausführung desselben Templates für jede Datei, den Export der Ergebnisse und die Fehlererfassung pro Assembly. Erfahren Sie, wie Queues und parallele Verarbeitung funktionieren.