Comment WeTransfer a amélioré les aperçus de fichiers avec le Smart CDN de Transloadit

WeTransfer est un géant du partage de fichiers, largement reconnu pour sa capacité à faciliter le transfert de fichiers volumineux. Avec un volume impressionnant de 2 pétaoctets (PB) d’aperçus de fichiers générés et diffusés chaque mois, WeTransfer avait besoin d’une solution capable de fournir des aperçus fluides en temps réel sans surcharger son infrastructure ni son équipe de développement, tout en réduisant son empreinte carbone grâce à l’innovation. L’équipe de WeTransfer a trouvé la solution dans le Smart CDN de Transloadit, un service qui a répondu au défi immédiat tout en apportant de l’efficacité et un degré d’adaptabilité inattendu.

Les résultats en bref

• 2 PB/mois Aperçus de médias générés et diffusés, selon WeTransfer en mai 2024
• 60 ms Temps d’encodage moyen après optimisation, rapporté dans l’étude de cas de mai 2024
• ≈10× moins

  Ressources de calcul utilisées pour le même résultat par rapport au pipeline précédent, selon les chiffres rapportés en mai 2024

Note sur les données présentées : Le volume mensuel est le chiffre de production fourni par Martijn Vermaat, responsable de l’ingénierie chez WeTransfer. L’équipe de Transloadit a rapporté le temps d’encodage et les ressources de calcul utilisées pour le traitement des aperçus de WeTransfer après avoir comparé six outils de redimensionnement d’images et supprimé les opérations redondantes. Ces chiffres, propres à cette charge de travail, ne constituent pas des garanties applicables à l’ensemble du service.

Le défi : gérer un déluge de données d’aperçus

Fournir des aperçus de fichiers instantanés et fiables pour tout type de média améliore l’expérience utilisateur d’une plateforme de partage de fichiers. Martijn Vermaat, responsable de l’ingénierie chez WeTransfer, souligne le défi :

« Diffuser 2 PB d’aperçus de médias chaque mois est une tâche considérable. Elle est devenue encore plus complexe avec la diversité des types de médias que nous traitons. Nous avions besoin d’une solution à la demande, performante (avec des latences en temps réel <600 ms), robuste et flexible. »

Martijn Vermaat

Le traitement d’un tel volume de données comporte aussi des enjeux climatiques. De petites inefficacités à l’échelle d’un fichier finissent par s’accumuler et augmenter considérablement l’empreinte carbone. L’équipe de WeTransfer en était pleinement consciente et souhaitait y remédier.

C’est dans cette optique que WeTransfer a commencé à chercher une solution adaptée aux besoins de traitement de fichiers générés par son service.

La solution : le Smart CDN de Transloadit et une assistance inégalée

L’équipe de WeTransfer a trouvé sa solution dans le Smart CDN de Transloadit. Celui-ci s’est immédiatement distingué par sa capacité à générer des aperçus de fichiers à la volée pour une large gamme de types de médias, au moyen d’une simple requête URL. Mais ce n’est pas tout. Martijn revient sur ce qui distingue vraiment Transloadit :

« Si les capacités du Smart CDN correspondaient étroitement à nos besoins, ce sont l’assistance sans relâche de Transloadit, sa disposition à mettre en œuvre les fonctionnalités demandées et sa capacité à répondre à des objectifs évolutifs qui ont été les plus étonnantes. La réactivité de leur équipe et sa volonté de s’adapter ont joué un rôle crucial dans notre réussite continue. Ce n’est pas tous les jours qu’on voit une entreprise en activité depuis si longtemps rester aussi agile et attentive à ses clients. »

L’intégration n’était que le début. L’équipe de WeTransfer a travaillé en étroite collaboration avec nous pour optimiser notre plateforme d’encodage pour ses services, afin que le traitement nécessaire (et son impact climatique) soit minimal face à l’énorme quantité de données qu’elle nous envoyait. Voici quelques pistes étudiées par notre cofondateur Tim :

• Réduire les opérations inutiles, par exemple en cessant d’extraire les métadonnées par défaut pour ce cas d’usage
• Transmettre les résultats directement au client en flux continu au lieu de les stocker sur S3 lors d’étapes intermédiaires
• Comparer les performances de 6 outils de redimensionnement d’images sous charge pour déterminer lequel offrait le débit le plus élevé par cycle de processeur
• Exécuter l’ensemble du flux sur une même machine plutôt que sur le cluster existant, qui sépare clairement les responsabilités selon les rôles des machines, mais au prix d’allers-retours supplémentaires sur le réseau et de résultats absents du cache
• Examiner les graphiques de flammes et ajouter de la mise en cache pour éviter les calculs redondants

Ensemble, ces optimisations ont réduit d’un ordre de grandeur les ressources de calcul consacrées à la livraison du même résultat final à l’utilisateur, avec d’énormes économies de matériel et d’énergie. Ces économies ont également permis de faire passer nos temps d’encodage des aperçus de fichiers de WeTransfer de plusieurs secondes à 60 ms en moyenne, offrant ainsi une expérience utilisateur bien plus agréable.

Le résultat : une efficacité accrue et un partenariat pour l’avenir

Ce qui a commencé modestement est devenu un partenariat fructueux qui se poursuit depuis 2021. L’équipe de WeTransfer était confrontée à un défi exceptionnel. C’est en partie grâce au Smart CDN de Transloadit qu’elle a pu le relever tout en restant concentrée sur son cœur de métier. L’intégration du Smart CDN de Transloadit a considérablement amélioré la génération des aperçus de fichiers de WeTransfer en matière d’efficacité énergétique, d’expérience utilisateur et de fiabilité.

Les projets communs visant à réduire davantage l’empreinte carbone se poursuivent, tandis que des ingénieurs des équipes principales des deux entreprises étudient l’ouverture d’un nouveau centre de données alimenté par des sources d’énergie 100 % renouvelables.

Comme dans tout bon partenariat, les bénéfices mutuels sont importants. Kevin van Zonneveld, cofondateur de Transloadit, explique en quoi cette collaboration a été avantageuse pour les deux entreprises :

« La collaboration avec WeTransfer illustre ce que peut être un partenariat mutuellement bénéfique. Échanger avec les membres très talentueux de l’équipe de WeTransfer a toujours été un plaisir. Leurs retours et notre expertise ont fait évoluer le Smart CDN de Transloadit pour en faire le meilleur de sa catégorie, ce qui profite directement à tous nos clients et, par extension, à Transloadit. Dans le même temps, cela a libéré l’infrastructure et l’équipe de WeTransfer, leur permettant de se concentrer sur les aspects les plus essentiels à leur mission principale. »

Les perspectives

La collaboration entre WeTransfer et Transloadit, bâtie sur les bases solides du Smart CDN de Transloadit et d’une assistance exceptionnelle, établit une nouvelle référence pour les partenariats dans le secteur technologique. Martijn conclut :

« Notre parcours avec Transloadit a été remarquable. Leur assistance et leur flexibilité ont été déterminantes pour améliorer notre service. Leur présence sur notre Slack nous a parfois donné l’impression qu’ils étaient une extension de notre service d’ingénierie. Compte tenu de l’engagement de Transloadit en faveur de l’innovation continue, de son expansion dans l’IA et de ses efforts pour réduire les émissions de carbone, nous sommes enthousiastes à l’idée de découvrir ce que l’avenir nous réserve et de poursuivre l’évolution de notre partenariat. »

Si vous avez des questions sur notre Smart CDN ou souhaitez savoir comment déployer Transloadit pour réduire considérablement les coûts, les émissions de carbone, le délai de mise sur le marché et la latence, contactez-nous pour échanger directement avec une personne.