720% mais velocidade em uploads S3 e Assemblies com gos3cmd
Em dezembro de 2017, Tim descreveu uma otimização interna de upload para o S3 chamada gos3cmd. Ela substituía as invocações da AWS CLI por um pequeno programa que usava o AWS SDK for Go. O objetivo era reduzir o overhead de inicialização de processos, mantendo os argumentos de comando usados pelo nosso código chamador. Era um detalhe de implementação da infraestrutura da Transloadit, não uma nova CLI de upload voltada para clientes.
A nota original atribuía uma melhoria de desempenho de 720% a um conjunto de mudanças feitas desde agosto de 2017. O gráfico que a acompanha mostra os tempos das Assemblies de teste em US-East-1 de 20 de novembro a 7 de dezembro de 2017. Ele não estabelece a comparação com agosto: a nota não documenta a linha de base de agosto, a carga de trabalho, o método de medição nem a contribuição individual do gos3cmd. A melhoria relatada é um resultado histórico, não um benchmark reproduzível de forma independente nem uma promessa sobre uploads para o S3 ou o processamento de Assemblies nos dias de hoje.
Tim também mencionou planos de adicionar testes em Go antes de fazer push do código, especialmente para o tratamento de metadados. Não há comando de instalação nem versão pública documentados aqui; a nota não deve ser usada como instruções para substituir a sua própria instalação da AWS CLI.
Para acessar a Transloadit pela linha de comando hoje, veja o passo a passo atualizado do Transloadify, que usa a CLI do SDK oficial para Node.js. Essa CLI cria Assemblies; ela é separada da otimização interna gos3cmd descrita aqui.
Ao avaliar o desempenho da sua própria carga de trabalho, meça o tempo de upload separadamente do tempo gasto esperando o processamento e a exportação dos resultados. Mantenha consistentes entre as execuções os tamanhos de arquivo, a localização de rede, a concorrência e as Instructions de processamento. Esta nota histórica não fornece tempos atuais para essas medições.