[お知らせ] メガゾーンアカウントログイン問題に関するご案内
フォローするこんにちは。
メガゾーンアカウントです。
2023年9月8日、メガゾーンアカウントでログイン問題が発生し、次のようにご案内いたします。
サービス利用にご迷惑をおかけして申し訳ありません。
障害内容
2023-09-08 17:28~18:10
メガゾーンアカウントにログインできない現象
原因
1.36.0 バージョンに含まれるリリース内容には、契約およびアプリケーション機能に必要な DB 変更作業が予定されていました。
その作業内容の性質上、DB構造が変更されるまでデータの追加や変更が起こらないように一時的にDBがロック状態に進みます。
数秒程度の処理時間を予想しましたが、同時に2つの変更作業が互いにデッドロック(DeadLock)に陥ってサービスが応答しなくなる現象が発生しました。
これにより、リアルタイムで着信ユーザーの要求を処理できない時間が長くなり、サービスに障害が発生しました。
その作業内容の性質上、DB構造が変更されるまでデータの追加や変更が起こらないように一時的にDBがロック状態に進みます。
数秒程度の処理時間を予想しましたが、同時に2つの変更作業が互いにデッドロック(DeadLock)に陥ってサービスが応答しなくなる現象が発生しました。
これにより、リアルタイムで着信ユーザーの要求を処理できない時間が長くなり、サービスに障害が発生しました。
アクション内容
該当原因発見後、直ちにデッドロックにあった作業を見つけて中断させた後、1.36.0 配布内容をロールバックしました。
フォローアップ
同じ問題が発生しないように、以下のようにプロセスを補完します。
- DB変更作業が予定される場合、リリース時間は作業の大小に関係なく業務外時間に進行
- ステージ環境で運用環境と同じレベルとトラフィックを引き起こしている状態で展開テストを実行する
- DB変更作業が予定される場合、リリース時間は作業の大小に関係なく業務外時間に進行
- ステージ環境で運用環境と同じレベルとトラフィックを引き起こしている状態で展開テストを実行する
ご迷惑をおかけして申し訳ありません、
安定した、より良いサービスで生まれ変わるよう努力します。
コメント
0件のコメント
サインインしてコメントを残してください。