Wie WeTransfer Dateivorschauen mit Transloadits Smart CDN optimierte
WeTransfer ist eine feste Größe im File-Sharing-Markt und wird weithin dafür geschätzt, große Dateien mühelos übertragen zu können. Mit beeindruckenden 2 Petabyte (PB) an Dateivorschauen, die jeden Monat generiert und ausgeliefert werden, benötigte WeTransfer eine Lösung, die nahtlose Echtzeit-Vorschauen ermöglicht, ohne die bestehende Dateiinfrastruktur und das Entwicklungsteam zusätzlich zu belasten – und zugleich durch Innovation den CO₂-Fußabdruck senkt. Das WeTransfer-Team fand die Lösung in Transloadits Smart CDN, einem Service, der nicht nur die unmittelbare Herausforderung löste, sondern auch Effizienz und ein unerwartet hohes Maß an Anpassungsfähigkeit bot.
Die Herausforderung: eine Flut von Vorschaudaten verwalten
Sofortige und zuverlässige Dateivorschauen für jeden Medientyp verbessern die Nutzererfahrung einer File-Sharing-Plattform. Martijn Vermaat, Engineering Manager bei WeTransfer, bringt die Herausforderung auf den Punkt:
"Jeden Monat 2 PB an Medienvorschauen auszuliefern, ist eine erhebliche Aufgabe. Mit der Vielfalt der Medientypen, die wir verarbeiten, wurde sie nur noch komplexer. Wir benötigten eine Lösung, die On-Demand, performant (Echtzeit-Latenzen <600 ms), robust und flexibel ist.
Martijn Vermaat
Der Umgang mit so großen Datenmengen hat auch klimatische Auswirkungen. Kleine Ineffizienzen auf Dateiebene summieren sich letztlich zu einem deutlich höheren CO₂-Fußabdruck – ein Thema, dessen sich das WeTransfer-Team sehr bewusst war und das es angehen wollte.
Vor diesem Hintergrund begann WeTransfer mit der Suche nach einer passenden Lösung, die den durch den Service entstehenden Anforderungen an die Dateiverarbeitung gewachsen ist.
Die Lösung: Transloadits Smart CDN und beispielloser Support
Das WeTransfer-Team fand seine Lösung im Transloadit Smart CDN. Es überzeugte sofort durch die Fähigkeit, Dateivorschauen über eine einfache URL-Anfrage für eine große Bandbreite von Medientypen on the fly zu generieren. Doch das ist nicht alles. Martijn beschreibt, was Transloadit wirklich auszeichnet:
"Die Fähigkeiten des Smart CDN passten zwar sehr gut zu unseren Anforderungen, doch am meisten beeindruckten uns Transloadits unermüdlicher Support und die Bereitschaft, Feature Requests umzusetzen, sowie die Fähigkeit, sich weiterentwickelnden Zielen gerecht zu werden. Die Reaktionsschnelligkeit des Teams und seine Anpassungsbereitschaft haben eine entscheidende Rolle für unseren anhaltenden Erfolg gespielt. Es kommt nicht jeden Tag vor, dass ein Unternehmen, das schon so lange am Markt ist, weiterhin so agil und kundenorientiert bleibt."
Die Integration war nur der Anfang. Das WeTransfer-Team arbeitete eng mit uns zusammen, um unsere Encoding-Plattform für seine Services zu optimieren und sicherzustellen, dass nur minimale Verarbeitung (und ein möglichst geringer Klimaeffekt) erforderlich war, um die enorme Datenmenge zu bewältigen, die an uns gesendet wurde. Zu den Maßnahmen, die unser Mitgründer Tim untersuchte, gehörten:
- Reduzierung unnötiger Arbeit, etwa indem Metadaten für diesen Use Case nicht mehr standardmäßig extrahiert werden
- Direktes Streaming der Ergebnisse an den Client, statt sie als Zwischenschritte auf S3 zu speichern
- Benchmarking von 6 verschiedenen Image-Resizern unter Last, um zu ermitteln, welcher den höchsten Durchsatz pro CPU-Tick erreicht
- Abwicklung des gesamten Flows auf einzelnen Maschinen, statt den bestehenden Cluster zu nutzen, der Zuständigkeiten sauber nach Maschinenrollen trennt, jedoch zusätzliche Roundtrips über das Netzwerk und Cache-Misses in Kauf nimmt
- Analyse von Flame Graphs und Implementierung zusätzlichen Cachings, um redundante Berechnungen zu vermeiden
Zusammen führten diese Optimierungen zu einer um eine Größenordnung geringeren Compute-Auslastung, um dasselbe Endergebnis an die Nutzer auszuliefern – mit enormen Einsparungen bei Hardware und Energie. Darüber hinaus senkten diese Einsparungen unsere Encoding-Zeiten für WeTransfers Dateivorschauen von mehreren Sekunden auf durchschnittlich 60 ms, was zu einer deutlich besseren Nutzererfahrung führte.
Das Ergebnis: höhere Effizienz und eine Partnerschaft für die Zukunft
Was als bescheidener gemeinsamer Start begann, hat sich seit 2021 als erfolgreiche Partnerschaft bewährt. Das Team hinter WeTransfer stand vor einer außergewöhnlichen Herausforderung und konnte sie auch dank Transloadits Smart CDN meistern, während der Fokus auf dem Kerngeschäft blieb. Die Integration von Transloadits Smart CDN hat WeTransfers Generierung von Dateivorschauen in puncto Energieeffizienz, Nutzererfahrung und Zuverlässigkeit deutlich verbessert.
Die gemeinsamen Pläne zur weiteren Reduzierung des CO₂-Fußabdrucks gehen weiter: Core Engineers beider Unternehmen prüfen die Eröffnung eines neuen Rechenzentrums, das zu 100 % mit erneuerbaren Energien betrieben wird.
Wie bei jeder guten Partnerschaft gibt es einen starken gegenseitigen Nutzen. Kevin van Zonneveld, Mitgründer von Transloadit, erklärt, warum die Zusammenarbeit für beide Unternehmen vorteilhaft war:
"Die Zusammenarbeit mit WeTransfer zeigt beispielhaft, wie eine für beide Seiten wertvolle Partnerschaft aussehen kann. Der Austausch mit den hochqualifizierten Teammitgliedern von WeTransfer war stets eine Freude. Ihr Feedback und unsere Expertise haben Transloadits Smart CDN zu einer Best-in-Class-Lösung weiterentwickelt, was direkt allen unseren Kunden und damit auch Transloadit zugutekommt. Gleichzeitig hat es WeTransfers Dateiinfrastruktur und Team entlastet, sodass sie sich auf die Aspekte konzentrieren können, die für ihre Kernmission am wichtigsten sind."
Ausblick
Die Zusammenarbeit zwischen WeTransfer und Transloadit, aufgebaut auf einem äußerst stabilen Fundament aus Transloadits Smart CDN und außergewöhnlichem Support, setzt einen neuen Standard für Partnerschaften in der Technologiebranche. Martijn fasst zusammen:
"Unsere Reise mit Transloadit war bemerkenswert. Ihr Support und ihre Flexibilität waren entscheidend dafür, unseren Service zu verbessern. Dass sie zeitweise in unserem Slack waren, fühlte sich wie eine Erweiterung unserer Engineering-Abteilung an. Angesichts von Transloadits Fokus auf kontinuierliche Innovation, der Expansion in Richtung KI und den Bemühungen, den CO₂-Ausstoß zu senken, freuen wir uns auf die Zukunft und die weitere Entwicklung unserer Partnerschaft."
Wenn Sie Fragen zu unserem Smart CDN haben oder erfahren möchten, wie Transloadit eingesetzt werden kann, um Kosten, CO₂-Emissionen, Time-to-Market und Latenz deutlich zu reduzieren, kontaktieren Sie uns und sprechen Sie direkt mit einem Menschen.