Como a WeTransfer melhorou as prévias de arquivos com o Smart CDN da Transloadit

A WeTransfer é uma gigante do setor de compartilhamento de arquivos, amplamente reconhecida pela facilidade com que permite transferir arquivos grandes. Com impressionantes 2 petabytes (PB) de prévias de arquivos geradas e servidas todo mês, a WeTransfer precisava de uma solução capaz de oferecer prévias fluidas e em tempo real sem sobrecarregar sua infraestrutura existente e sua equipe de desenvolvimento, e que, ao mesmo tempo, reduzisse sua pegada de carbono por meio da inovação. A equipe da WeTransfer encontrou a solução no Smart CDN da Transloadit, um serviço que não só resolveu o desafio imediato, como também trouxe eficiência e um nível inesperado de adaptabilidade.

Resultados em resumo

• 2 PB/mês Prévias de mídia geradas e servidas, segundo a WeTransfer em maio de 2024
• 60 ms Tempo médio de codificação após a otimização, informado no estudo de caso de maio de 2024
• ≈10× menor

  Processamento usado para o mesmo resultado em comparação com o pipeline anterior, informado em maio de 2024

Nota sobre as evidências: O volume mensal é o número de produção informado por Martijn Vermaat, Engineering Manager da WeTransfer. A equipe da Transloadit informou o tempo de codificação e o uso de processamento na carga de trabalho de prévias da WeTransfer depois de comparar seis redimensionadores de imagem em benchmarks e eliminar trabalho redundante. Esses números são específicos dessa carga de trabalho e não são garantias válidas para todo o serviço.

O desafio: gerenciar uma avalanche de dados de prévia

Oferecer prévias de arquivos instantâneas e confiáveis para qualquer tipo de mídia melhora a experiência do usuário de uma plataforma de compartilhamento de arquivos. Martijn Vermaat, Engineering Manager da WeTransfer, destaca o desafio:

“Servir 2 PB de prévias de mídia todo mês é uma tarefa significativa. Isso só ficou mais complexo com a grande variedade de tipos de mídia com que lidamos. Precisávamos de uma solução sob demanda, de alto desempenho (latências em tempo real <600 ms), robusta e flexível.”

Martijn Vermaat

Lidar com tanto volume de dados também envolve questões climáticas. Pequenas ineficiências no nível de cada arquivo acabam somando um aumento substancial da pegada de carbono, algo de que a equipe da WeTransfer estava muito consciente e que queria resolver.

Com isso em mente, a WeTransfer começou a buscar uma solução adequada que desse conta das demandas de processamento de arquivos geradas pelo seu serviço.

A solução: o Smart CDN da Transloadit e um suporte incomparável

A equipe da WeTransfer encontrou a solução no Smart CDN da Transloadit. Ele se destacou de imediato pela capacidade de gerar prévias de arquivos na hora para uma ampla variedade de tipos de mídia por meio de uma simples requisição de URL. Mas isso não é tudo. Martijn reflete sobre o que realmente diferencia a Transloadit:

“Embora os recursos do Smart CDN atendessem de perto ao que precisávamos, o mais surpreendente foi o suporte incansável da Transloadit e sua disposição para implementar pedidos de funcionalidades, além da capacidade de cumprir metas em constante evolução. A agilidade de resposta da equipe deles e sua disposição para se adaptar tiveram um papel crucial no nosso sucesso contínuo. Não é todo dia que se vê uma empresa com tanto tempo de mercado ainda ser tão ágil e focada no cliente.”

A integração foi só o começo. A equipe da WeTransfer trabalhou em estreita colaboração conosco para otimizar nossa plataforma de codificação para os serviços dela, garantindo que fosse necessário o mínimo de processamento (e de impacto climático) para lidar com a enorme quantidade de dados que ela nos enviava. Algumas das coisas que nosso cofundador Tim investigou foram:

• Reduzir trabalho desnecessário, como deixar de extrair metadados por padrão neste caso de uso
• Transmitir os resultados diretamente ao cliente em vez de armazená-los no S3 como etapas intermediárias
• Fazer benchmarks de 6 redimensionadores de imagem diferentes sob carga para determinar qual tinha a maior vazão por ciclo de CPU
• Processar todo o fluxo em máquinas individuais, em vez de usar o cluster existente, que separa bem as responsabilidades por função de máquina, mas ao custo de idas e voltas extras pela rede e de consultas sem acerto no cache (cache misses)
• Analisar flame graphs e implementar cache adicional para evitar cálculos redundantes

Juntas, essas otimizações resultaram em um gasto de processamento uma ordem de grandeza menor para entregar o mesmo resultado final ao usuário, gerando uma economia enorme de hardware e energia. Além disso, essa economia se traduziu na redução dos nossos tempos de codificação das prévias de arquivos da WeTransfer de vários segundos para 60 ms, em média, resultando em uma experiência do usuário muito melhor.

O resultado: mais eficiência e uma parceria para o futuro

O que começou de forma modesta se mostrou uma parceria frutífera, em andamento desde 2021. A equipe por trás da WeTransfer enfrentou um desafio excepcional e, em parte graças ao Smart CDN da Transloadit, conseguiu superá-lo sem perder o foco no seu negócio principal. A integração do Smart CDN da Transloadit melhorou significativamente a geração de prévias de arquivos da WeTransfer em eficiência energética, experiência do usuário e confiabilidade.

Os planos de reduzir ainda mais a pegada de carbono em conjunto continuam, enquanto engenheiros principais das duas empresas estudam a abertura de um novo data center alimentado 100% por fontes de energia renovável.

Como em toda boa parceria, há um forte benefício mútuo. Kevin van Zonneveld, cofundador da Transloadit, explica como a colaboração tem sido vantajosa para as duas empresas:

“A colaboração com a WeTransfer é um exemplo de como pode ser uma parceria mutuamente benéfica. Sempre foi um prazer interagir com os membros altamente talentosos da equipe da WeTransfer. O feedback deles e a nossa expertise fizeram o Smart CDN da Transloadit evoluir até se tornar o melhor da categoria, o que beneficia diretamente todos os nossos clientes e, por extensão, a Transloadit. Ao mesmo tempo, isso liberou a infraestrutura e a equipe da WeTransfer para se concentrarem nos aspectos mais cruciais da sua missão principal.”

Olhando para o futuro

A colaboração entre a WeTransfer e a Transloadit, construída sobre uma base sólida como rocha, formada pelo Smart CDN da Transloadit e por um suporte excepcional, estabelece um novo padrão de parceria em tecnologia. Martijn conclui:

“Nossa jornada com a Transloadit tem sido notável. O suporte e a flexibilidade deles foram fundamentais para aprimorar nosso serviço. Tê-los no nosso Slack às vezes parecia uma extensão do nosso departamento de engenharia. Considerando o foco da Transloadit em inovação contínua, a expansão para IA e os esforços para reduzir as emissões de carbono, estamos animados com o que o futuro reserva e com a evolução contínua da nossa parceria.”

Se você tiver dúvidas sobre o nosso Smart CDN ou quiser saber como a Transloadit pode ser implantada para reduzir significativamente custos, emissões de carbono, tempo de lançamento no mercado e latência, entre em contato e fale diretamente com um ser humano.