데브시스터즈에서 2021년 "쿠키런: 킹덤"이란 게임을 런칭하고 나서 36시간 동안 장애가 났던 사건이 있었습니다.(제가 했던 게임은 아니라서 잊고 있었지만 이번 글로 다시 생각이 났습니다.) 당시 장애상황과 복구 작업을 자세하게 정리한 글입니다. 쿠키런: 킹덤는 CockroachDB를 쓰고 있었는데 CockroachDB는 가장 좋다고 알려진 구글 스패너의 영향을 받은 오픈소스 데이터베이스이다. 데브시스터즈에서는 오픈 후 트래픽을 예상해서 상당히 준비해 두었지만 예상 이상으로 사용자가 늘어나면서 CockroachDB의 스토리지가 차기 시작했다고 합니다. 이에 대한 대응으로 확장 작업을 하던 중 설정 실수로 인해 데이터베이스 노드의 절반이상이 다운되었습니다. Raft 알고리짐으로 사용하는데 설정 실수로 인..