Assembly を高速化する大幅なパフォーマンス改善
ここ数週間で、大幅なパフォーマンス改善を実施しました。平均的な Assemblyの実行速度が約 20-40% 向上することを、うれしくお知らせします。
「ベンチマーク」
/image/resize のデモページ (English)で、画像を 1 枚、5 枚、10 枚、20 枚アップロードするテストを何度か実施しました。簡単なテストですが、改善の大きさはすでに確認できます。結果はこちらの gistにまとめています。すべての数値には、アップロード時間とエンコード時間が含まれています。

画像 5 枚で 54%、10 枚で 25%、20 枚で 34% の改善が見られます。画像 1 枚では、速度が 60% も向上しました。アップロードするファイルが多いほど改善幅が小さくなるのは、一部のファイルをアップロードしている間に、ほかのファイルの変換が終わるためです。つまり、改善前のバージョンでも無駄な時間が少なくなります。Assembly内のファイルが少ないほど、パフォーマンスの改善が顕著になります。
そのため、ファイルが 1 個または数個だけの一般的な Assemblyでは、飛躍的な高速化を実感できます。
どのように実現したのか?
興味のある方に向けて、実現方法をご紹介します。😄
最適化のために、システムにいくつかの大きな改善を加えました。エンコードとファイル操作は、可能な限りすでにすべて並列実行していることを誇りにしていますが、別の領域にはこれほどの改善余地がありました。
当社のサービスにファイルをアップロードすると、まずメタデータを抽出する必要があります。目的は、a)後でその情報を返すこと、b)各 Robot が処理できるファイルを判断すること、c)/file/filter Robotの機能を動作させることです。
また、マシン間の通信のために、アップロードされたすべてのファイルとエンコード結果を、一時的な Amazon S3 バケットに保存する必要があります。エンコードマシンがファイルを必要とする場合、別のエンコードマシンからではなく、Amazon S3 からダウンロードする必要があります。そうしないと、マシンの I/O 上限を簡単に超え、問題が発生するおそれがあります。
本番環境には、アップローダーとエンコーダーという 2 種類のマシンがあります(実際にはもっとありますが、今回の最適化には関係ありません)。アップローダーはロードバランサーの背後で、受信した Assembly を処理し、ジョブをキューに入れます。エンコーダー(エンコードマシン)はそのジョブを取り出してエンコードし、結果を返します。すべての結果がそろうと、Assemblyを担当するアップローダーマシンが、接続中のクライアントに結果を返します。notify_url を使用している場合は、Notificationを送信します。
最適化 1
アップロードされたファイルのメタデータ抽出を、アップローダーマシンからエンコーダーマシンに移しました。これにより、アップローダーマシンの負荷が大きく減り、応答性と信頼性が向上します。これも今回の改善による、うれしい副次的な効果です。マシン群の大半はエンコーダーマシンなので、メタデータ抽出に使える計算能力が大幅に増え、抽出処理がはるかに速くなりました。
一方で、エンコーダーはまず、アップロードされたファイルをアップローダーマシンからダウンロードする必要が生じました。そのため、I/O 上限を超えないよう、この処理用にさらに別のキューシステムを構築する必要がありました。まだ改善の余地はありますが、それについては別のお知らせで取り上げます。
最適化 2
アップロードされたファイルの S3 への保存も、アップローダーマシンではなく、エンコーダーマシンで行うようにしました。また、S3 への保存とメタデータ抽出を順番に行うのではなく、並列実行できるよう変更しました。この変更は、エンコード結果のファイルにも適用しています。
最適化 3
最近、基盤となる S3 ソフトウェアを、Tim Kay の AWS ツールから、公式の AWS Command Line Interfaceに切り替えました。Tim Kay は、高性能な aws ユーティリティーの保守に多大な貢献をしてきました。しかし、Amazon は頻繁に新機能や新しいデータセンターを追加しています。最新の状態に追従するためとはいえ、無償公開したツールに余暇のすべてを費やすことを、Tim Kay に期待するわけにはいきません。Transloadit は作者本人以上にこのユーティリティーに依存するようになっていたため、Amazon 公式の CLI に切り替えるほうが安全で、公平でもあると判断しました。
ただし、公式の AWS CLI は、呼び出し時に適切な --region パラメーターを指定しなければエラーを返します。S3 バケットはリージョンに依存するためです。
お客様が自身のバケットにエクスポートする際、region パラメーターを指定しないことはよくあります。また、時間のかかる GetBucketLocation と再試行リクエストを先に実行しなければ、リージョンを特定する方法もありません。
ただし、リージョン固有のバケット名に、リージョンを表す文字列が含まれていることもよくあります。これは Transloadit のリージョン別の一時バケットにも当てはまります。これらのバケットはマシン間の通信に使われ、すべての Assembly に影響します。
そこで、まずバケット名から有効なリージョンを探し、見つかった場合は最初の試行で使うデフォルトのリージョンにする、という簡単な工夫を取り入れました。
もちろん、これは万全ではありませんが、パフォーマンス最適化の領域では、こうした工夫も許されます。いずれにしても、名前に eu-west-1 が含まれる米国のバケットがあっても対応できるよう、従来のリージョン切り替えアルゴリズムも引き続き機能しています。
これだけで、S3 操作の完了までにかかる時間を 2.5 秒から 0.6 秒に短縮でき、各処理で貴重な時間を節約できました。
主に恩恵を受けるのは、ファイルサイズが小さく、Step 数の多い、米国外の Assembly です。米国を拠点とするお客様でも、ヨーロッパのユーザーにサービスを提供している場合、そのユーザーの Assembly も米国外のものになるため、今回の高速化の恩恵を受けられます。
今後の展望
より良いサービスの提供を常に目指し、今後もシステムのパフォーマンスをさらに高める改善を続けていきます。どうぞご期待ください!
追伸:Tim Kay の取り組みに拍手を送りたいと思います。AWS CLI より 5 年も前に公開したツールが、これほど優れた働きをしていたのは驚くべきことです。私たちの Perl の腕がもっと良ければ、保守作業に協力し、おそらく今も使い続けていたでしょう。
