720 % mehr Tempo bei S3-Uploads und Assemblies mit gos3cmd
Im Dezember 2017 beschrieb Tim eine interne Optimierung für S3-Uploads namens gos3cmd. Sie ersetzte AWS-CLI-Aufrufe durch ein kleines Programm, das das AWS SDK for Go nutzte. Ziel war es, den Aufwand für Prozessstarts zu verringern und dabei die Befehlsargumente beizubehalten, die unser aufrufender Code verwendete. Dies war ein Implementierungsdetail der Infrastruktur von Transloadit, keine neue Upload-CLI für Kunden.
Der ursprüngliche Beitrag führte eine Leistungssteigerung um 720 % auf mehrere Änderungen seit August 2017 zurück. Das zugehörige Diagramm zeigt die Laufzeiten von Test-Assemblies in US-East-1 vom 20. November bis zum 7. Dezember 2017. Einen Vergleich mit August belegt es nicht: Der Beitrag dokumentiert weder die Ausgangswerte vom August noch die Arbeitslast, die Messmethode oder den Einzelbeitrag von gos3cmd. Die gemeldete Verbesserung ist ein historisches Ergebnis, kein unabhängig reproduzierbarer Benchmark und kein Versprechen zur heutigen Leistung von S3-Uploads oder der Assembly-Verarbeitung.
Tim erwähnte auch Pläne, vor dem Push des Codes Go-Tests hinzuzufügen, insbesondere für den Umgang mit Metadaten. Hier sind weder ein Installationsbefehl noch eine öffentliche Veröffentlichung dokumentiert; der Beitrag sollte nicht als Anleitung zum Ersetzen Ihrer eigenen AWS-CLI-Installation dienen.
Für den aktuellen Befehlszeilenzugriff auf Transloadit lesen Sie die aktualisierte Transloadify-Anleitung, die die CLI des offiziellen Node.js SDK verwendet. Diese CLI erstellt Assemblies; sie ist von der hier beschriebenen internen gos3cmd-Optimierung getrennt.
Wenn Sie die Leistung für Ihre eigene Arbeitslast bewerten, messen Sie die Upload-Dauer getrennt von der Wartezeit auf die Verarbeitung und den Export der Ergebnisse. Halten Sie Dateigrößen, Netzwerkstandort, Parallelität und Instructions für die Verarbeitung über alle Durchläufe hinweg konstant. Dieser historische Beitrag liefert keine aktuellen Zeitwerte für diese Messungen.