キュー待機時間の増大への対応と信頼性の確保
昨夜、障害が発生しました。詳しい説明をお約束していましたので、経緯をご報告します。22:35 CET に、キューの待機時間が増大していることを把握しました。
主な原因は、未処理の /http/import ジョブが 20k 件あったことです。この処理は動画エンコーディングに比べて負荷が非常に低く、通常は件数も少ないため、オートスケーラーはスケールアップの判断にこれらを含めていませんでした。
キューの減少が十分に速くないことは明らかだったため、手動でスケールアップしました。
23:00 頃になってもキューの減少は遅いままで、一部のマシンが稼働を開始できていないようでした。本番環境に投入する前に事前テストを実施していますが、その一部がタイムアウトしていました。
調査の結果、redis のサービス自体は稼働しているにもかかわらず、すべてではないものの、多くのマシンから redis に接続できないことがわかりました。
いくつかテストを行ったところ、マシン間で EC2 の LAN 障害が発生しているとしか説明できない状況を確認しました。
# LAN chan -> Redis
root@chan:~# telnet redis.transloadit.com 6379
Trying 10.192.211.175...
# LAN Redis -> chan (one of our drones)
root@redis2:# telnet chan.transloadit.com 80
Trying 10.241.127.187...
# WAN chan -> Redis
root@chan:~# telnet 107.21.80.77 6379
Trying 107.21.80.77...
Connected to 107.21.80.77.
Escape character is '^]'.
# WAN Redis -> chan (one of our drones)
root@redis2:# telnet 50.17.94.169 80
Trying 50.17.94.169...
Connected to 50.17.94.169.
Escape character is '^]'.
これで、/http/import のキューがあまり減らない理由がわかりました。ジョブがエラーになり、自動的にキューへ戻されていたのです。
23:10 に、次の修正をデプロイしました。
- パブリック IP で redis に接続
23:15 の時点で、キューには 18,115 件の http/import ジョブがありましたが、15 分後にはすべて処理が完了しました。ただし、これほどの件数がキューに残っている状態でスケールダウンしないよう、さらに次の修正をデプロイしました。
- オートスケーラーが
http/importのキューサイズを考慮するように変更(file/filter 以外のすべてのボットも、負荷が軽微とみなされるかどうかにかかわらず対象)
今後は、次の対策もデプロイする予定です。
- redis の LAN 側と WAN 側の IP を順に試し、一方のネットワークでルーティングの問題が発生した場合は、もう一方へ自動的に切り替え
- エラーをより早い段階で検知するためのログの改善
Amazon には、この障害の確認を依頼しています。確認が取れ次第、追加情報をお知らせします。
今回の障害でご不便をおかけしたことを深くお詫び申し上げます。今回の対応からもおわかりいただけるとおり、私たちはこうした問題を真摯に受け止めています。お客様がビジネスの基盤として利用できるよう、プラットフォームの堅牢性をさらに高める取り組みを続けています。
ご質問があれば、twitter で私にお気軽にお尋ねいただくか、サポートチケットを作成してください。
