Envois S3 et Assemblies accélérés de 720 % avec gos3cmd
En décembre 2017, Tim a décrit une optimisation interne des envois vers S3 appelée gos3cmd. Elle remplaçait les appels à l’AWS CLI par un petit programme utilisant l’AWS SDK for Go. L’objectif était de réduire le surcoût lié au démarrage des processus tout en conservant les arguments de commande utilisés par notre code appelant. Il s’agissait d’un détail d’implémentation de l’infrastructure de Transloadit, et non d’une nouvelle CLI d’envoi destinée aux clients.
La note d’origine attribuait une amélioration des performances de 720 % à un ensemble de modifications apportées depuis août 2017. Le graphique qui l’accompagne montre les durées des Assemblies de test dans US-East-1 du 20 novembre au 7 décembre 2017. Il ne permet pas d’établir la comparaison avec août : la note ne documente ni la référence d’août, ni la charge de travail, ni la méthode de mesure, ni la contribution propre de gos3cmd. L’amélioration rapportée est un résultat historique, et non un benchmark reproductible de manière indépendante ni une promesse concernant les envois S3 ou le traitement des Assemblies aujourd’hui.
Tim a également mentionné son intention d’ajouter des tests Go avant de pousser le code, notamment pour la gestion des métadonnées. Aucune commande d’installation ni version publique n’est documentée ici ; cette note ne doit pas servir d’instructions pour remplacer votre propre installation de l’AWS CLI.
Pour un accès actuel à Transloadit en ligne de commande, consultez le guide pas à pas mis à jour de Transloadify, qui utilise la CLI du SDK Node.js officiel. Cette CLI crée des Assemblies ; elle est distincte de l’optimisation interne gos3cmd décrite ici.
Lorsque vous évaluez les performances pour votre propre charge de travail, mesurez le temps d’envoi séparément du temps passé à attendre le traitement et l’exportation des résultats. Gardez des tailles de fichiers, un emplacement réseau, un niveau de concurrence et des Instructions de traitement identiques d’une exécution à l’autre. Cette note historique ne fournit aucune durée actuelle pour ces mesures.