S3 障害への対応:修正と割引
昨日の午後、約 90 分間にわたる障害が発生しました。原因は、私たち自身がシステムに組み込んでしまったバグでした。
多数のファイル(> 100)を含む Assembly が完了しない問題が、一部のお客様に発生していました。この問題を解決しようとした際、誤って別のバグを導入してしまい、S3 上の処理結果ファイルが元のアップロードファイルで上書きされました。これは、言うまでもなく非常に重大な問題です。テストスイートでは、この問題を検出できませんでした。S3 の一時的な不調の影響を避け、実行を高速化するために、処理結果ファイルの S3 への送信を省略していたためです。エンコードのテストをすべて含めると、それでも実行に 30 分近くかかります。S3 連携を検証する個別のテストケースも用意していましたが、残念ながら、それらでも今回の問題を検出できませんでした。
本番環境で問題に気づき、30 分以内に緊急修正をデプロイしました。しかし、通常の業務に戻った後、その緊急修正を含まない別の機能をデプロイしてしまいました。その結果、私たち、正確にはお客様が、再びこの問題の影響を受けることになりました。つくづく運にも見放された日でした。
この問題の影響を受けたお客様は、サポートチケットを起票してください。影響を受けたすべての Assembly の再実行をお手伝いします。また、2 月分の請求には割引を適用します。再実行に必要な一時ファイルは、通常の 24 時間ではなく、1 週間保持します。
最後に、今回の件についてお詫び申し上げます。責任は全面的に私たちにあります。日頃から誇りとしている堅牢なサービスを提供できなかったことを、大変残念に思っています。同じことを二度と繰り返さないために必要な対策は、すでに講じました。今後は、テストスイートでもすべての処理結果ファイルを S3 にも保存します。テストの実行方法として最も洗練されたものではないかもしれませんが、これにより、テストを本番環境に可能な限り近づけます。最終的に、私たちが最優先するのはその点です。
