WeTransfer: Bessere Dateivorschauen mit Transloadits Smart CDN

WeTransfer ist ein Schwergewicht der Filesharing-Branche und wird weithin dafür geschätzt, dass sich auch große Dateien mühelos übertragen lassen. Bei gewaltigen 2 Petabyte (PB) an Dateivorschauen, die jeden Monat generiert und ausgeliefert werden, brauchte WeTransfer eine Lösung für nahtlose Echtzeit-Vorschauen, die weder die bestehende Infrastruktur noch das Entwicklungsteam überlastet – und die zugleich durch Innovation den CO₂-Fußabdruck senkt. Das WeTransfer-Team fand die Lösung im Smart CDN von Transloadit, einem Dienst, der nicht nur die akute Herausforderung löste, sondern auch Effizienz und ein unerwartetes Maß an Anpassungsfähigkeit mitbrachte.

Ergebnisse auf einen Blick

• 2 PB/Monat Generierte und ausgelieferte Medienvorschauen, von WeTransfer im Mai 2024 angegeben
• 60 ms Durchschnittliche Encoding-Zeit nach der Optimierung, laut der Fallstudie vom Mai 2024
• ≈10× geringer

  Rechenaufwand für dasselbe Ergebnis im Vergleich zur früheren Pipeline, angegeben im Mai 2024

Hinweis zu den Belegen: Das monatliche Volumen ist die Produktionszahl von Martijn Vermaat, Engineering Manager bei WeTransfer. Das Team von Transloadit hat Encoding-Zeit und Rechenaufwand für den Vorschau-Workload von WeTransfer angegeben, nachdem es sechs Bild-Resizer per Benchmark verglichen und redundante Arbeit entfernt hatte. Diese Werte gelten für diesen spezifischen Workload und sind keine dienstweiten Garantien.

Die Herausforderung: eine Flut an Vorschaudaten bewältigen

Sofortige und zuverlässige Dateivorschauen für jeden Medientyp verbessern die Nutzererfahrung einer Filesharing-Plattform. Martijn Vermaat, Engineering Manager bei WeTransfer, unterstreicht die Herausforderung:

„Jeden Monat 2 PB an Medienvorschauen auszuliefern, ist eine große Aufgabe. Durch die Vielfalt der Medientypen, die wir verarbeiten, wurde es nur noch komplexer. Wir brauchten eine Lösung, die bedarfsgesteuert arbeitet, performant ist (Echtzeit-Latenzen <600 ms), robust und flexibel.“

Martijn Vermaat

Eine solche Datenmenge wirft auch Klimafragen auf. Kleine Ineffizienzen auf Dateiebene summieren sich letztlich zu einem deutlich größeren CO₂-Fußabdruck, was dem WeTransfer-Team sehr bewusst war und was es angehen wollte.

Vor diesem Hintergrund begann WeTransfer mit der Suche nach einer geeigneten Lösung, die den Anforderungen an die Dateiverarbeitung gewachsen ist, die der Dienst erzeugt.

Die Lösung: das Smart CDN von Transloadit und unvergleichlicher Support

Das WeTransfer-Team fand seine Lösung im Smart CDN von Transloadit. Es stach sofort hervor, weil es über eine einfache URL-Anfrage Dateivorschauen für eine breite Palette von Medientypen direkt beim Abruf generieren kann. Doch das ist nicht alles. Martijn beschreibt, was Transloadit wirklich auszeichnet:

„Die Funktionen, die das Smart CDN bietet, passten zwar gut zu unseren Anforderungen, am erstaunlichsten waren aber der unermüdliche Support von Transloadit, die Bereitschaft, Feature-Requests umzusetzen, und die Fähigkeit, sich wandelnde Ziele zu erreichen. Die Reaktionsschnelligkeit und Anpassungsbereitschaft des Teams haben eine entscheidende Rolle für unseren anhaltenden Erfolg gespielt. Man sieht nicht jeden Tag, dass ein Unternehmen, das schon so lange am Markt ist, noch so agil und kundenorientiert ist.“

Die Integration war nur der Anfang. Das WeTransfer-Team arbeitete eng mit uns zusammen, um unsere Encoding-Plattform für seine Dienste zu optimieren und sicherzustellen, dass für die enorme Datenmenge, die es uns schickte, nur minimale Verarbeitung (und minimale Klimabelastung) nötig war. Unser Mitgründer Tim hat sich unter anderem Folgendes angesehen:

• Unnötige Arbeit reduzieren, etwa indem für diesen Anwendungsfall standardmäßig keine Metadaten mehr extrahiert werden
• Ergebnisse direkt an den Client streamen, statt sie als Zwischenschritte auf S3 zu speichern
• 6 verschiedene Bild-Resizer unter Last per Benchmark vergleichen, um zu ermitteln, welcher den höchsten Durchsatz pro CPU-Tick hat
• Den gesamten Ablauf auf einzelnen Maschinen abwickeln, statt den bestehenden Cluster zu nutzen, der Zuständigkeiten sauber nach Maschinenrollen trennt, dafür aber zusätzliche Roundtrips über das Netzwerk und Cache-Misses mit sich bringt
• Flame Graphs auswerten und zusätzliches Caching einführen, um redundante Berechnungen zu vermeiden

Zusammen führten diese Optimierungen dazu, dass für dasselbe Endergebnis beim Nutzer eine Größenordnung weniger Rechenaufwand nötig war, was enorme Einsparungen bei Hardware und Energie brachte. Außerdem sanken dadurch unsere Encoding-Zeiten für die Dateivorschauen von WeTransfer von mehreren Sekunden auf durchschnittlich 60 ms, was die Nutzererfahrung deutlich verbesserte.

Das Ergebnis: mehr Effizienz und eine Partnerschaft für die Zukunft

Was als bescheidener gemeinsamer Anfang begann, hat sich zu einer fruchtbaren Partnerschaft entwickelt, die seit 2021 besteht. Das Team hinter WeTransfer stand vor einer außergewöhnlichen Herausforderung, und es war unter anderem dem Smart CDN von Transloadit zu verdanken, dass es sie meistern und sich zugleich auf sein Kerngeschäft konzentrieren konnte. Durch die Integration von Transloadits Smart CDN hat sich die Generierung von Dateivorschauen bei WeTransfer hinsichtlich Energieeffizienz, Nutzererfahrung und Zuverlässigkeit deutlich verbessert.

Die gemeinsamen Pläne, den CO₂-Fußabdruck weiter zu senken, gehen weiter: Kernentwickler beider Unternehmen prüfen die Eröffnung eines neuen Rechenzentrums, das zu 100 % mit erneuerbaren Energien betrieben wird.

Wie bei jeder guten Partnerschaft profitieren beide Seiten stark. Kevin van Zonneveld, Mitgründer von Transloadit, erklärt, wie die Zusammenarbeit beiden Unternehmen zugutekommt:

„Die Zusammenarbeit mit WeTransfer zeigt beispielhaft, wie eine Partnerschaft zum beiderseitigen Nutzen aussehen kann. Es war stets eine Freude, mit den hochtalentierten Teammitgliedern von WeTransfer zusammenzuarbeiten. Ihr Feedback und unsere Expertise haben das Smart CDN von Transloadit zur Spitzenklasse weiterentwickelt, wovon alle unsere Kunden direkt profitieren und damit auch Transloadit. Gleichzeitig wurden dadurch Infrastruktur und Team von WeTransfer entlastet, sodass sie sich auf die Aspekte konzentrieren können, die für ihre Kernmission am wichtigsten sind.“

Ausblick

Die Zusammenarbeit zwischen WeTransfer und Transloadit, die auf dem grundsoliden Fundament von Transloadits Smart CDN und außergewöhnlichem Support aufbaut, setzt einen neuen Maßstab für Technologiepartnerschaften. Martijn fasst zusammen:

„Unser gemeinsamer Weg mit Transloadit war bemerkenswert. Ihr Support und ihre Flexibilität waren entscheidend, um unseren Dienst zu verbessern. Sie in unserem Slack zu haben, fühlte sich zeitweise wie eine Erweiterung unserer Engineering-Abteilung an. Angesichts von Transloadits Fokus auf kontinuierliche Innovation, der Expansion in den Bereich KI und der Bemühungen, CO₂-Emissionen zu senken, sind wir gespannt, was die Zukunft bringt und wie sich unsere Partnerschaft weiterentwickelt.“

Wenn Sie Fragen zu unserem Smart CDN haben oder wissen möchten, wie sich mit Transloadit Kosten, CO₂-Emissionen, Time-to-Market und Latenz deutlich senken lassen, melden Sie sich und sprechen Sie direkt mit einem Menschen.