Traiter par lots et migrer de grandes médiathèques
Importez des centaines de gigaoctets, voire des téraoctets, depuis un stockage cloud existant, exécutez un seul flux de travail automatisé sur de nombreux fichiers, puis rapatriez les résultats.
Lisez de grandes médiathèques depuis S3, Google Cloud, Azure, SFTP, HTTP et d’autres sources prises en charge.
Soumettez des lots dimensionnés pour une Assembly pendant que Transloadit planifie des Jobs simultanés sur une flotte pouvant monter jusqu’à 1 500 machines.
Exportez les fichiers traités vers leur stockage d’origine ou déplacez-les vers un nouveau fournisseur et un nouveau préfixe.
Prenez de l’élan
Donnez une seconde vie à votre bibliothèque existante.
Déployez de nouveaux formats et flux de travail sur les fichiers dont vous disposez déjà.
Lancer plus tôt de nouveaux formats
Préparez votre bibliothèque existante pour les appareils qu’utilise votre public.
Rendre les anciens contenus repérables
Ajoutez des transcriptions, des aperçus et des métadonnées aux fichiers déjà stockés.
Faire avancer votre migration
Importez, traitez et exportez des fichiers sans cycles de téléchargement manuels.
Maintenir la cohérence des publications
Appliquez un seul Template enregistré à tous les fichiers de votre lot.
Libérer du temps d’ingénierie
Confiez le traitement à des nœuds de traitement gérés pendant que votre équipe livre des fonctionnalités.
Anticiper des bibliothèques plus volumineuses
Planifiez votre capacité de traitement par lots avant les grands traitements rétroactifs et les pics saisonniers.
DSC_08452-1200w.jpg420 KB
contract-p1.png180 KB
keynote-720p.mp488 MB
quarterly-report.pdf310 KBDes centaines de gigaoctets aux migrations à l’échelle du téraoctet
Utilisez Transloadit comme API de traitement de fichiers gérée pour une migration ponctuelle de stockage cloud, un traitement rétroactif de médias à grande échelle ou un traitement de fichiers en masse récurrent. Importez depuis votre stockage existant, transformez chaque fichier et exportez les résultats sans faire transiter toute la bibliothèque par vos serveurs d’application.
Inventorier la source
Choisissez les buckets, préfixes ou chemins d’objets à migrer, puis estimez le nombre total de fichiers et d’octets.
Paginer en Assemblies
Paginez les préfixes de stockage volumineux en Assemblies d’environ 500–1 000 fichiers, selon le travail requis par fichier, et soumettez-les à un rythme contrôlé.
Traiter en parallèle
Appliquez un seul Template enregistré à toute la migration. Les Jobs affectés à la Batch Queue se partagent vos emplacements de Jobs par lots dans chaque région.
Exporter et réconcilier
Écrivez les résultats vers la même destination de stockage ou vers une nouvelle, puis vérifiez chaque Assembly avant de marquer les fichiers comme terminés.
Votre application
- Inventorier
- Paginer
- Soumettre
- Assemblies soumises
Transloadit
- Importation
- Planifier
- Transformer
- Exportation
- Faire un rapport
- Résultats renvoyés
Votre application
- Enregistrer les ID
- Approuver
- Publier
Les extrémités sont à vous, le milieu est à nous
Votre application conserve les parties qui dépendent de vos données : choisir ce qu’il faut migrer, le soumettre par lots de la taille d’une Assembly à un rythme que vous contrôlez, et enregistrer ce qui a été renvoyé. Il s’agit d’une boucle d’inventaire et d’un gestionnaire de rappel idempotent.
Tout ce qui se trouve entre ces deux points nous revient : importer les octets, planifier sur l’ensemble de la flotte et de ses files d’attente, exécuter le même Template sur chaque fichier, exporter les résultats et comptabiliser les erreurs par Assembly. Découvrez le fonctionnement des files d’attente et du traitement simultané.
Votre flux de travail. Vos réglages.
Le traitement par lots, sans les tracas
Cessez d’exécuter des scripts ponctuels pour chaque traitement rétroactif. Réutilisez un flux de travail que vous pouvez inspecter.
Commencer petit, puis passer à l’échelle
Testez votre Template sur un petit échantillon, puis traitez des millions de fichiers avec Transloadit.
Importer depuis votre stockage
Lisez les fichiers existants depuis les buckets et les fournisseurs de stockage distants pris en charge.
Réutiliser votre logique de traitement
Exécutez le même Template pour les nouveaux téléversements et les fichiers existants.
Tirer davantage de chaque fichier
Créez plusieurs formats, miniatures et métadonnées dans un seul flux de travail.
Suivre chaque Assembly
Examinez le statut de traitement et les erreurs pour déterminer ce qui doit être relancé.
Savoir quand chaque Assembly se termine
Demandez à Transloadit de notifier votre serveur à la fin d’une Assembly, puis vérifiez le statut de cette Assembly pour connaître les résultats ou les erreurs.
Prévoir de la marge pour les jours chargés
Les Jobs affectés à la Batch Queue utilisent des emplacements de Jobs par lots. Les Jobs supplémentaires attendent lorsque ces emplacements sont occupés.
Utilisez votre propre stockage
Envoyez les résultats vers Amazon S3, Cloudflare R2, Google Cloud Storage, Azure et plus encore.
Maîtrisez vos dépenses
Définissez une limite de facturation souple pour recevoir des alertes, ou une limite stricte qui rejette les nouvelles Assemblies une fois atteinte.
Lancer une migration par traitement par lots à grande échelle
Questions fréquentes
Que puis-je faire avec un lot de fichiers existants ?
Réencodez des vidéos, redimensionnez des images, transcrivez de l’audio, extrayez des métadonnées ou appliquez un autre flux de travail enregistré à votre bibliothèque. Commencez par un Template qui produit les résultats dont vous avez besoin. Découvrez les Robots de traitement disponibles.
Où mes fichiers sources peuvent-ils se trouver ?
Utilisez les Robots d’importation pris en charge pour lire depuis Amazon S3, Cloudflare R2, Google Cloud Storage, Azure et d’autres sources. Les options d’importation déterminent la manière dont les fichiers sont sélectionnés. Trouvez votre intégration de stockage (English).
Dois-je traiter toute la bibliothèque en une seule fois ?
Commencez par un échantillon représentatif afin de vérifier la qualité, les chemins de sortie et l’utilisation. Élargissez ensuite le lot avec le même Template. Les grandes bibliothèques peuvent nécessiter plusieurs Assemblies plus petites, dimensionnées selon le traitement que subit chaque fichier, plutôt qu’une seule Assembly surdimensionnée. En savoir plus sur les Assemblies.
Que se passe-t-il lorsque tous mes emplacements de Jobs par lots sont occupés ?
Les Jobs de la Batch Queue utilisent les emplacements de Jobs par lots de votre forfait. Certaines importations y sont affectées automatiquement, selon l’importateur, et vous pouvez aussi choisir cette file pour chaque Step. Les Jobs supplémentaires attendent qu’un emplacement se libère. Contactez-nous au sujet de la capacité de traitement par lots avant un traitement rétroactif de grande ampleur. Découvrez le fonctionnement des files d’attente et des emplacements.
Comment trouver les Jobs en échec ou savoir quand le traitement se termine ?
Utilisez les réponses d’état des Assemblies et les notifications pour suivre leur achèvement et les erreurs. Votre application peut décider quelles Assemblies en échec doivent être relancées. Consultez le guide des webhooks.
Puis-je exporter les résultats vers un autre fournisseur de stockage ?
Oui. Combinez le Robot d’importation du fournisseur source avec le Robot d’exportation du fournisseur de destination. Choisissez les chemins de sortie de manière réfléchie et vérifiez les résultats avant de supprimer les originaux. Découvrez comment enregistrer les fichiers traités.
Comment estimer et maîtriser les coûts ?
Les tarifs varient selon l’opération et l’utilisation. Une limite de facturation souple envoie des alertes ; une fois une limite stricte atteinte, les nouvelles Assemblies sont rejetées. Pour des charges de travail plus importantes, renseignez-vous sur les tarifs sur volume et la capacité de traitement par lots. Estimez le coût de vos flux de travail.