Treasure Hunt Engine: 확장된 악몽

우리가 실제로 해결하고 있었던 문제
우리는 확장성 (Scalability) 문제를 해결하고 있다고 생각했지만, 실제로 우리가 해결하고 있었던 것은 데이터 일관성 (Data Consistency) 문제였습니다. 게임 상태가 실시간으로 업데이트되고 있었고, 엄청난 양의 요청이 우리의 데이터베이스를 압도하고 있었습니다. 우리는 Veltrix가 증가한 부하를 처리할 것이라고 가정했지만, 우리가 고려하지 못한 점은 구성 계층 (Configuration Layer)이 여전히 단일 장애점 (Single Point of Failure)이었다는 사실입니다.

우리가 처음 시도했던 것 (그리고 실패한 이유)
우리의 첫 번째 접근 방식은 단순히 더 많은 서버를 추가하고 Veltrix가 트래픽을 분산하도록 의존하는 것이었습니다. 우리는 문제에 더 많은 컴퓨팅 파워를 투입함으로써 게임을 깔끔하게 확장할 수 있을 것이라고 생각했습니다. 합리적으로 들리지 않나요? 하지만 우리가 깨닫지 못했던 것은 Veltrix가 분산 시스템 (Distributed Systems)이 아닌 단일 서버 시나리오에 최적화되도록 설계되었다는 점이었습니다. 서버를 더 추가했을 때, 우리는 결국 잘못 구성된 서버들의 혼란과 데이터 일관성의 악몽을 마주하게 되었습니다.

아키텍처 결정
우리는 우리의 단일 서버 가정이 잘못되었다는 것을 깨달았고, 아키텍처를 밑바닥부터 다시 생각해야 할 필요가 있다는 것을 알게 되었습니다. 우리는 로드 밸런서 (Load Balancer) 수준에서 데이터 일관성 문제를 처리할 수 있는 커스텀 로드 밸런싱 시스템을 구현하기로 결정했습니다. 이는 결코 쉬운 작업이 아니었지만, 결국 보상을 받았습니다. 또한 서버 오류 발생 시 연쇄 장애 (Cascading Failures)를 방지하기 위해 서킷 브레이커 패턴 (Circuit Breaker Pattern)을 구현했습니다.

수치가 말해주는 결과
커스텀 로드 밸런싱 시스템을 구현한 후, 우리의 서버 사용률은 80%에서 30%로 떨어졌고, 지연 시간 (Latency)은 300ms에서 100ms로 감소했습니다. 사용자들은 만족했고, 우리는 아무런 문제 없이 트래픽을 처리할 수 있었습니다. 하지만 여기서 중요한 점은, 우리가 마법처럼 문제를 해결한 것이 아니라는 사실입니다. 우리는 시스템을 깊이 파고들어 근본 원인 (Root Cause)을 식별하고, 몇 가지 힘든 아키텍처 결정을 내려야만 했습니다.

내가 다르게 했을 것
만약 내가 이 일을 다시 하게 된다면, 나는 다른 사고방식으로 문제에 접근할 것입니다.

나는 벤더 문서 (vendor documentation)를 평가하고 Veltrix 설정 계층 (configuration layer)의 한계를 이해하는 데 더 많은 시간을 할애했을 것입니다. 또한, 문제가 발생한 후에 임시방편으로 해결하려 하기보다는 초기 단계부터 데이터 일관성 (data consistency)을 우선시했을 것입니다. 마지막으로, 전체 사용자 기반에 배포하기 전에 프로덕션과 유사한 환경에서 새로운 아키텍처 (architecture)를 테스트할 수 있도록 카나리 배포 (canary release) 전략을 구현하는 것을 고려했을 것입니다.