Hytale 서버의 보물찾기 엔진은 침몰하는 배에 불과했다 - 고난 끝에 얻은 프로덕션 전투의 교훈

우리가 실제로 해결하고 있었던 문제, 불과 몇 달 전 Hytale 서버를 출시한 후 펼쳐진 혼돈을 저는 결코 잊지 못할 것입니다. 보물찾기 (Treasure hunts)는 주요 업데이트 사이에 플레이어들을 계속 참여시키기 위한 재미있고 매력적인 메커니즘이어야 했습니다. 하지만 선의로 시작된 기능은 빠르게 악몽으로 변했습니다. 플레이어들은 보물찾기 로직의 이상 현상에 대해 불만을 제기했고, 우리 서버는 치명적인 성능 문제 (performance issues)를 겪고 있었습니다. 설상가상으로 우리의 모니터링 대시보드 (monitoring dashboards)는 에러로 가득 찼고, 이로 인해 문제의 근본 원인 (root cause)을 정확히 찾아내는 것이 불가능했습니다. 저는 피해가 돌이킬 수 없게 되기 전에 무엇이 잘못되었는지 파악하고 해결책을 찾아야 하는 임무를 맡았습니다.

우리가 처음 시도했던 것 (그리고 왜 실패했는가), 저의 초기 본능은 문제에 더 많은 프로세싱 파워 (processing power)와 메모리 (memory)를 투입하는 것이었습니다. 우리는 서버의 사양 (specs)을 업그레이드하면 모든 것이 해결될 것이라고 생각했습니다. 하지만 이는 근본적인 문제를 가릴 뿐이었고, 제가 실제 문제를 진단하는 것을 더 어렵게 만들었습니다. 서버 로그 (server logs)를 빠르게 살펴보니 중복된 보물 생성 지점 (duplicate treasure spawn points), 플레이어 로드 시 보물 지도가 생성되는 현상, 그리고 시스템 리소스 (system resources)를 독점하는 보물 엔진 등 수많은 문제들이 드러났습니다. 우리는 보물찾기 엔진의 고충을 독립적인 문제로 해결하려 했지만, 궁극적으로 이는 우리 시스템에 복잡성만 더할 뿐이었습니다.

아키텍처 결정 (The Architecture Decision), 몇 주간의 트러블슈팅 (troubleshooting) 끝에 저는 우리의 접근 방식이 근본적으로 잘못되었다는 것을 깨달았습니다. 보물찾기 엔진은 자체 데이터베이스 (database), 캐싱 레이어 (caching layer), 그리고 작업 관리 시스템 (task management system)을 가진 모놀리식 컴포넌트 (monolithic component)로 취급되고 있었습니다. 이는 얽히고설킨 의존성 (dependencies)의 망을 형성했고, 시스템 내의 데이터 흐름 (data flow)에 대한 이해를 저해했습니다. 저는 보물찾기 엔진을 마이크로서비스 (microservice)로 리팩터링 (refactor)하여, 각 컴포넌트가 잘 정의된 API를 통해 서로 통신하도록 하기로 결정했습니다. 또한 보물 엔진에 부하가 걸릴 때 연쇄 장애 (cascading failures)를 방지하기 위해 서킷 브레이커 (Circuit Breaker) 패턴을 구현했습니다.

이러한 변경 사항을 통해 우리는 엔진을 수평적 확장 (scale horizontally) 할 수 있었고, 마침내 근본적인 문제들을 밝혀낼 수 있었습니다.

이후의 수치들 (What The Numbers Said)
리팩터링 (refactoring) 한 달 후, 우리의 서버 지표 (metrics) 는 완전히 다른 모습이 되었습니다. 우리는 눈에 띄는 성능 저하 없이 500개 이상의 동시 접속 보물찾기 (concurrent treasure hunts) 를 처리할 수 있었습니다. 보물 지도 생성에 대한 평균 지연 시간 (latency) 은 150ms 미만으로 떨어졌으며, 중복된 보물 생성 지점 (duplicate treasure spawn points) 과 관련된 오류율은 90% 감소했습니다. 아마도 가장 중요한 점은, 프로덕션 팀의 정신적 평온함이 회복되었고, 그들이 보물찾기 엔진의 끊임없는 방해 없이 마침내 다른 프로젝트에 집중할 수 있게 되었다는 것입니다.

다르게 했을 점 (What I Would Do Differently)
지나고 보니, 모든 문제를 한꺼번에 해결하려 하기보다는 변경 사항을 더 점진적으로 배포 (gradual rollout) 하는 방식으로 접근했을 것입니다. 그랬다면 각 변경 사항의 영향을 더 잘 이해하고 불필요한 복잡성을 피할 수 있었을 것입니다. 또한, 중복된 보물 생성 지점과 같은 문제를 개발 주기 (development cycle) 초기 단계에서 더 빨리 잡아낼 수 있도록, 더 강력한 테스트 인프라 (testing infrastructure) 를 구축하는 데 더 강력하게 추진했을 것입니다. 보물찾기 엔진을 모놀리식 (monolithic) 컴포넌트로 취급하기로 했던 우리의 초기 결정이 실수였다는 점도 명확합니다. 처음부터 마이크로서비스 (microservice) 로 접근했어야 했습니다.

보물찾기 엔진이 여전히 완벽하지는 않지만, 더 이상 예전처럼 침몰하는 배는 아닙니다. 개선할 여지는 항상 존재하지만, 이 시련을 통해 배운 교훈들이 장기적으로 우리에게 큰 도움이 될 것이라고 확신합니다.