Rate Limiter 障害のお詫びと実施済みの対策
昨日の午前 10:49 に、全体の 2.7% のお客様に影響する問題が発生しました。
対象のお客様の Assembly が、2 時間にわたって
RATE_LIMIT_REACHED エラーで誤って拒否される状態になっていました。
原因は、レートリミッターに加えた小さな改善(と当時は考えていた変更)でした。本来であれば、本番環境に反映する前にテストスイートで不正な動作を検出すべきでしたが、今回のケースはテストで網羅できていないエッジケースだったため、問題を含む変更が本番環境に反映されてしまいました。
この事態について、心よりお詫び申し上げます。
問題の報告を受けてすぐに、再発を確実に防ぐため、以下の対策を講じました。
-
これ以上 Assembly が拒否されないよう、応急措置として、影響を受けたすべてのアカウントのアカウント単位のレート制限を 50,000 に引き上げました。
-
レートリミッターのバグを修正し、報告から 30 分以内に修正をデプロイしました。
-
今後、不正な動作を含む変更が本番環境に反映されないよう、自動テストを改善しました。
-
この問題に対する監視を改善し、2 社以上のお客様が同時にレート制限を受けた時点で、自動音声による電話通知を受けるようにしました。万が一再発した場合も、ほかの誰よりも早く把握し、初期段階で対処できるようにしました。
影響を受けたすべてのお客様に個別にメールを送り、この問題についてお知らせしました。また、対象となるすべてのお客様の次回請求に 25% の割引を適用しました。
今回の事態について深くお詫び申し上げます。同じ問題を二度と起こさないために必要な対策を講じたと考えております。
