安定性向上のための Assembly レート制限導入
ここ最近、処理の遅延、キュー待ち時間の増加、エラー率の上昇が発生していました。EC2 上で発生した Route 53、RDS、LAN の障害に加え、大量のリクエストが一度に送信されたことも、一部の問題の原因でした。たとえば、大規模な動画ライブラリや画像ライブラリのインポート時です。そこで本日、レート制限を導入してこの問題に対処します。
本来、ある 1 社の利用状況が他の利用者に影響を与えるべきではありません。しかし、現在もすべての利用者が 1 つのジョブキューを共有しているため、レート制限なしではそれを保証できません。すでに優先度付きキューの導入(キュー内に X 件のジョブがある利用者の次のジョブはキュー末尾に追加し、他の利用者のジョブは先頭側に挿入)や、8 コアマシンあたりのスケール時間を 2 分に短縮するなどして、多くの問題には対処してきました。
とはいえ、どれだけ高速にスケールしても、物理的な限界は常にあります。過去には、一度に数千本の動画、あるいは数万枚の画像を取り込む大規模なバッチインポートがありました。このときプラットフォームは 100 台のマシンまでスケールしましたが、他の利用者の Assembly の実行は最長 90 分かかることがあり、これはまったく許容できません。
正当な大量インポートだけでなく、バグのある統合コードによっても、ごく短時間に過剰な数のリクエストが送信されることがあります。その結果、月末に想定外の高額請求が発生するおそれがあります。
要するに、送信できるリクエスト数を制限することで、こうした問題に対処します。
現時点では、作成できる Assembly 数のみを 1 分あたり 250 件 に制限します。妥当な利用であれば、これは十分すぎる水準だと考えています。この措置の影響は継続的に評価し、必要に応じて追加の制限を導入します。
レート制限に達すると、413 RATE_LIMIT_REACHED エラーが返されます。エラー JSON にはサブキー info.retryIn があり、次の Assembly を作成できるまでに待機が必要な秒数を示します。この情報を返すことで、円滑な統合を支援し、インポートが必要以上に 1 秒でも長くスロットリングされないようにしたいと考えています。
リクエスト制限は、(主として無効な)過剰利用からプラットフォームを保護し、全員にとってより安定した利用体験を実現するための機能です。利用者ごとに異なるレート制限も設定できます。より高いレート制限が必要な場合は、サポートチケットを作成してください。喜んで引き上げます。
