Cómo WeTransfer elevó las vistas previas de archivos con Smart CDN de Transloadit
WeTransfer es un gigante en el panorama del intercambio de archivos y la empresa es ampliamente reconocida por su capacidad para facilitar la transferencia sin esfuerzo de archivos grandes. Con la asombrosa cifra de 2 petabytes (PB) de vistas previas de archivos generadas y entregadas cada mes, WeTransfer necesitaba una solución que pudiera ofrecer vistas previas fluidas y en tiempo real sin sobrecargar su infraestructura existente ni a su equipo de desarrollo, mientras reducía al mismo tiempo su huella de carbono mediante la innovación. El equipo de WeTransfer encontró la solución en Smart CDN de Transloadit, un servicio que no solo resolvió el desafío inmediato, sino que también aportó eficiencia y un nivel inesperado de adaptabilidad.
El desafío: gestionar una avalancha de datos de vistas previas
Proporcionar vistas previas de archivos instantáneas y confiables para cualquier tipo de medio mejora la experiencia del usuario de una plataforma de intercambio de archivos. Martijn Vermaat, Engineering Manager en WeTransfer, destaca el desafío:
"Entregar 2 PB de vistas previas de medios cada mes es una tarea considerable. Se volvió aún más compleja con la diversa variedad de tipos de medios que manejamos. Necesitábamos una solución que fuera bajo demanda, performante, (latencias en tiempo real de <600 ms), robusta y flexible.
Martijn Vermaat
Manejar tal cantidad de datos también implica consideraciones climáticas. Pequeñas ineficiencias a nivel de archivo terminan sumando un aumento sustancial en la huella de carbono, algo de lo que el equipo de WeTransfer era muy consciente y quería abordar.
Con esto en mente, WeTransfer comenzó la búsqueda de una solución adecuada que pudiera manejar las demandas de procesamiento de archivos que genera su servicio.
La solución: Smart CDN de Transloadit y soporte incomparable
El equipo de WeTransfer encontró su solución en Smart CDN de Transloadit. Destacó de inmediato por su capacidad para generar vistas previas de archivos sobre la marcha en una amplia variedad de tipos de medios mediante una simple solicitud URL. Sin embargo, eso no es todo. Martijn reflexiona sobre lo que realmente diferencia a Transloadit:
"Aunque las capacidades de Smart CDN coincidían bastante con lo que necesitábamos, lo más sorprendente fue el soporte incansable de Transloadit y su disposición para implementar solicitudes de funcionalidades, así como su capacidad para cumplir objetivos en evolución. La capacidad de respuesta de su equipo y su disposición para adaptarse han desempeñado un papel crucial en nuestro éxito continuo. No todos los días ves una empresa con tantos años en el mercado que siga siendo tan ágil y enfocada en el cliente."
La integración fue solo el comienzo. El equipo de WeTransfer trabajó estrechamente con nosotros para optimizar nuestra plataforma de encoding para sus servicios, asegurando que se necesitara un procesamiento mínimo (y un impacto climático mínimo) para manejar la enorme cantidad de datos que nos enviaban. Algunas de las cosas que nuestro cofundador Tim investigó fueron:
- Reducir trabajo innecesario, como dejar de extraer metadata por defecto para este caso de uso
- Transmitir resultados directamente al cliente en lugar de almacenarlos en S3 como pasos intermedios
- Hacer benchmarking de 6 redimensionadores de imágenes diferentes bajo carga para establecer cuál tenía el mayor throughput por tick de CPU
- Manejar todo el flujo en máquinas individuales, en lugar de usar el cluster existente que separa claramente las responsabilidades por roles de máquina, pero con la desventaja de viajes adicionales por la red y cache misses
- Revisar flame graphs e implementar caching adicional para evitar cálculos redundantes
En conjunto, estas optimizaciones dieron como resultado una reducción de un orden de magnitud en el gasto de cómputo para entregar el mismo resultado final al usuario, con enormes ahorros en hardware y energía. Además, estos ahorros se tradujeron en reducir nuestros tiempos de encoding para las vistas previas de archivos de WeTransfer de varios segundos a 60 ms en promedio, lo que resultó en una experiencia de usuario mucho más agradable.
El resultado: mayor eficiencia y una alianza para el futuro
Lo que comenzó como un inicio modesto en conjunto ha demostrado ser una alianza fructífera que continúa desde 2021. El equipo detrás de WeTransfer enfrentó un desafío excepcional, y fue en parte gracias a Smart CDN de Transloadit que pudieron resolverlo mientras mantenían el foco en su negocio principal. Integrar Smart CDN de Transloadit ha mejorado significativamente la generación de vistas previas de archivos de WeTransfer en términos de eficiencia energética, experiencia de usuario y confiabilidad.
Los planes para seguir reduciendo juntos la huella de carbono continúan, mientras ingenieros principales de ambas empresas investigan la apertura de un nuevo centro de datos alimentado con fuentes de energía 100% renovables.
Como en toda buena alianza, existe un fuerte beneficio mutuo. Kevin van Zonneveld, cofundador de Transloadit, explica cómo trabajar juntos ha sido ventajoso para ambas empresas:
"La colaboración con WeTransfer es un ejemplo de cómo puede verse una alianza mutuamente beneficiosa. Siempre ha sido un placer interactuar con los miembros altamente talentosos del equipo de WeTransfer. Sus comentarios y nuestra experiencia han hecho evolucionar Smart CDN de Transloadit hasta convertirlo en best-in-class, lo que beneficia directamente a todos nuestros clientes y, por extensión, a Transloadit. Al mismo tiempo, ha liberado la infraestructura y el equipo de WeTransfer para enfocarse en los aspectos más cruciales de su misión principal."
Mirando hacia adelante
La colaboración entre WeTransfer y Transloadit, construida sobre una base extremadamente sólida en forma de Smart CDN de Transloadit y un soporte excepcional, establece un nuevo estándar para las alianzas en tecnología. Martijn concluye:
"Nuestro recorrido con Transloadit ha sido notable. Su soporte y flexibilidad han sido fundamentales para mejorar nuestro servicio. Tenerlos en nuestro Slack a veces se sintió como una extensión de nuestro departamento de ingeniería. Dado el enfoque de Transloadit en la innovación continua, la expansión hacia AI y los esfuerzos por reducir las emisiones de carbono, estamos entusiasmados por lo que depara el futuro y la evolución continua de nuestra alianza."
Si tienes preguntas sobre nuestro Smart CDN o quieres saber cómo Transloadit puede implementarse para reducir significativamente costos, emisiones de carbono, time-to-market y latencia, contáctanos y habla directamente con una persona.