[공지] 메가존 계정 로그인 이슈 관련 안내
팔로우안녕하세요.
메가존 계정입니다.
2023년 9월 8일, 메가존 계정에서 로그인 이슈가 발생하여 다음과 같이 안내드립니다.
서비스 이용에 불편을 드리게 되어 죄송합니다.
장애 내용
2023-09-08 17:28 ~ 18:10
메가존 계정 로그인이 불가한 현상
원인
1.36.0 버전에 포함된 릴리즈 내용에는 계약 및 애플리케이션 기능에 필요한 DB 변경 작업이 예정되어 있었습니다.
해당 작업 내용의 특성상 DB 구조가 변경되기 전까지 데이터 추가나 변경이 일어나지 않도록 일시적으로 DB가 잠금상태로 진행이 됩니다.
수초 정도의 처리 시간을 예상했지만, 동시에 두개의 변경 작업이 서로 교착상태(DeadLock)에 빠지게되어 서비스가 응답하지 못하는 현상이 발생했습니다.
이로 인해 실시간으로 들어오는 사용자들의 요청을 처리하지 못하는 시간이 늘어나게 되면서 서비스에 장애가 발생했습니다.
해당 작업 내용의 특성상 DB 구조가 변경되기 전까지 데이터 추가나 변경이 일어나지 않도록 일시적으로 DB가 잠금상태로 진행이 됩니다.
수초 정도의 처리 시간을 예상했지만, 동시에 두개의 변경 작업이 서로 교착상태(DeadLock)에 빠지게되어 서비스가 응답하지 못하는 현상이 발생했습니다.
이로 인해 실시간으로 들어오는 사용자들의 요청을 처리하지 못하는 시간이 늘어나게 되면서 서비스에 장애가 발생했습니다.
조치 내용
해당 원인 발견 후, 즉시 교착상태에 있던 작업을 찾아 중단시킨 후 1.36.0 배포 내용을 롤백 했습니다.
후속 조치
동일한 이슈가 발생하지 않도록 아래와 같이 프로세스를 보완하겠습니다.
- DB 변경작업이 예정될 경우 릴리즈 시간은 작업의 크고 작음과 상관없이 업무 외 시간에 진행
- 스테이지 환경에 운영 환경과 동일한 수준과 트래픽을 일으키고 있는 상태에서 배포 테스트 수행
- DB 변경작업이 예정될 경우 릴리즈 시간은 작업의 크고 작음과 상관없이 업무 외 시간에 진행
- 스테이지 환경에 운영 환경과 동일한 수준과 트래픽을 일으키고 있는 상태에서 배포 테스트 수행
불편을 드리게 되어 다시 한번 죄송하다는 말씀 드리며,
안정적이고 더 나은 서비스로 거듭날 수 있도록 노력하겠습니다.
댓글
댓글 0개
댓글을 남기려면 로그인하세요.