Redis 接続数の枯渇による US-East の障害
2025年9月3日、US-East で Redis 接続数の枯渇によりキューの待機時間が増加し、一時的にジョブ処理が停止しました。同日中にホットパッチと設定変更で安定化しました。本記事では、発生した事象、影響を軽減した方法、再発防止の取り組みを説明します。
概要
内部サービスのあるエンドポイントで、利用が集中すると Redis 接続がリークしていました。ある顧客からこのエンドポイントに通常を大幅に上回るリクエストが集中しました。トラフィック制御によって集中したリクエストはバックアップキューに隔離されましたが、接続リークの負荷は共有 Redis サーバー全体に波及しました。サーバーが接続数の上限に達すると、同リージョンの正規のワーカーと API 処理経路が接続を確保できなくなり、キューの遅延や断続的なジョブ処理の停止が発生しました。リークした接続を閉じるホットパッチをデプロイし、上限を調整したところ、処理は正常に戻りました。
影響
- 発生日時:2025年9月3日
- 12:00 UTC:US-East で多数のキューが発生し、エンコードが遅延
- 19:50 UTC:キューの待機時間の増加と、キュー処理用接続の過剰な増加を確認
- 21:24 UTC:システムが安定化し、根本原因の調査を継続
- 23:06 UTC:原因を特定してホットパッチをデプロイし、復旧を確認
- リージョン:
us-east-1 - ユーザーへの影響:
- Assembly のキュー待機時間が通常より増加
- Redis サーバーが追加の接続を拒否した際に、一部のジョブ処理が停止
- 同リージョンの Webhook/通知と一部の API 操作が遅延
根本原因
- トラフィックの多い内部エンドポイントのコードパスで、特定のエラー条件下において Redis 接続を確実に閉じられていませんでした。
- ある顧客のワークロードが意図せずこのエンドポイントを過度に呼び出した結果、接続の生成と切断が増加し、リークが顕在化しました。
- 最終的に Redis サーバーの接続数が上限に達し、正規のワーカーや API ノードからの新規接続がブロックされました。
影響を拡大させた要因:
- Redis プールを共有していたため、接続数が上限に達した際の影響範囲が拡大しました。
- 正常系のメトリクスには問題がなかった一方、異常系の接続数を適切に把握できておらず、既存のダッシュボードでは接続リークを検出できませんでした。
検知
キューの遅延アラートとワーカーのハートビート異常により、この問題を検知しました。エンジニアは、影響を受けたサーバーで Redis の connected_clients の急増、接続の生成と切断の増加、ECONNREFUSED/max clients reached エラーの関連を確認しました。
影響の軽減と復旧
- 問題を引き起こしたワークロードのトラフィックは、すでに隔離されたバックアップキューに少量ずつ流していました。これにより影響は抑えられましたが、完全には防げませんでした。
- 調査中の余裕を確保するため、Redis の接続数上限を一時的に引き上げました。
- 対象のエンドポイントで正常系と異常系のどちらでも接続を必ず解放するよう、ホットパッチをリリースしました。
- 影響を受けたプロセスを再起動してリークした接続を解消し、正常動作を確認しました。
21:24 UTC にシステムが安定化しました。23:06 UTC にリークを確認し、ホットパッチを全体にデプロイしました。それ以降、システムは正常に稼働しています。
顧客への連絡
障害の発生中はステータスページで随時状況を更新し、影響を受けた顧客に連絡しました。影響を軽減した後、入力ファイルがまだ利用できる場合には、失われたままになる結果を復元するために Assembly の再実行を試すよう案内しました。
今後の取り組み
- 接続リークに関する SLO と、正常系および異常系の接続ライフサイクルを追跡するダッシュボードの追加
- リークの影響を封じ込めるため、エンドポイントごとの接続数予算とサーキットブレーカーの導入
- 厳格なタイムアウトと、接続取得を囲む静的解析可能な
finallyブロックによる Redis クライアントプールの強化 - Redis の重要な役割(キュー、ロック、メタデータ)を、個別の上限を持つ別々のプールに分離
- 対象エンドポイントのレート制限を厳格化し、急激な機能停止を避けるバックプレッシャーを導入
- Redis の部分的な障害と接続の大量発生をシミュレートするカオステストの追加
影響を受けた場合
可能であれば、重要なジョブを再実行してください。入力ファイルがまだ利用できる場合は、API 経由で失敗した Assembly を再実行できます。Assembly の再実行をご覧ください。影響を受けたジョブの特定に支援が必要な場合は、サポートまでお問い合わせください。
2025年9月4日更新
翌日、別の障害が発生しました。リークの発生源を塞ぐことには成功していましたが、別の発生源があることが判明しました。今回は早期に検知し、1時間以内に影響を軽減できました。
再発の可能性を下げるため、追加の強化を完了しました。対象エンドポイントに専用のレート制限を追加し、エラー処理のコードパス全体で接続管理を改善しました。また、Redis の一部の役割を、より明確な上限を持つ別々のプールに分離しました。これらの変更により影響範囲を縮小し、リクエストが集中するワークロードに対する耐性を高めます。
監視とアラートも拡充し、接続の生成と切断の異常な増加やキューへの負荷など、初期の兆候に注目するようにしました。同様の傾向が現れた際に、より迅速に対応するためです。これらの改善は US-East ですでに稼働しており、予防措置として他のリージョンにも展開する予定です。
おわりに
今回の障害について、心よりお詫び申し上げます。信頼性を最優先にしていますが、9月3日の US-East では、自ら定めた基準を満たせませんでした。上記の修正対応はすでに進めており、今後さらに重要な変更があれば報告します。
