적절한 설정 없이는 실패하는 Veltrix Treasure Hunt Engine

우리가 실제로 해결하려 했던 문제

지나고 보니, 우리가 잘못된 문제를 해결하려 했다는 것을 깨달았습니다. 우리는 문제가 엔진의 설정 파일(configuration files), 특히 보상 지급(reward dispensation)을 제어하는 설정에 있다고 생각했습니다. 하지만 우리가 실제로 겪고 있었던 어려움은 우리 서버가 경험하고 있는 엄청난 양의 동시 플레이어 이벤트(concurrent player events)였습니다. Treasure hunt engine은 기껏해야 수십 명의 플레이어를 처리하도록 설계되었지만, 500명 이상의 플레이어가 동시에 보물을 찾으려고 시도했습니다. 이는 엔진을 압도하여 처참하게 실패하게 만드는 요청(requests)의 완벽한 폭풍을 만들어냈습니다.

우리가 처음 시도했던 것 (그리고 실패한 이유)

처음에는 엔진의 설정 파일을 미세 조정(tweaking)하면 문제가 해결될 것이라고 생각했습니다. 우리는 더 나은 성능을 위해 설정을 최적화하려고 문서를 몇 시간 동안 꼼꼼히 살펴보았습니다. 버퍼 크기(buffer sizes)를 조정하고, 타임아웃(timeout) 값을 수정했으며, 응답성(responsiveness)을 개선할 수 있는지 확인하기 위해 엔진의 코드를 수동으로 편집하는 방법까지 동원했습니다. 하지만 우리가 무엇을 하든 엔진은 엄청난 양의 요청을 따라가지 못하고 계속해서 실패했습니다. 우리의 해결책이 근본적인 문제가 아닌 증상만을 다루고 있다는 것이 분명해졌습니다.

아키텍처 결정 (The Architecture Decision)

그때 나는 진짜 해결책이 엔진의 설정 파일을 미세 조정하는 것이 아니라, 플레이어 이벤트를 더 확장 가능한(scalable) 방식으로 처리하기 위해 메시지 큐(message queue) 시스템을 구현하는 데 있다는 것을 깨달았습니다. 나는 DevOps 팀과 협력하여 Apache Kafka 클러스터를 구축하였고, 이는 플레이어 이벤트를 수신하여 이를 병렬로 처리할 수 있는 여러 워커(workers)에게 분산하는 역할을 했습니다. 이를 통해 엔진을 플레이어 이벤트로부터 디커플링(decouple)할 수 있었고, 과부하에 덜 취약하게 만들 수 있었습니다. 그 결과 오류가 크게 감소하였고 전반적인 게임 경험이 개선되었습니다.

수치로 나타난 결과

메시지 큐 (Message Queue) 시스템을 구현한 후, 시간당 300건 이상 발생하던 "연결 끊김 (connection lost)" 오류가 10건 미만으로 급격히 감소하는 것을 확인했습니다. 플레이어 이벤트의 평균 지연 시간 (Latency)은 5초에서 1초 미만으로 줄어들었습니다. 그리고 가장 중요한 점은, 이전에는 동일한 문제로 어려움을 겪었던 피크 시간대에도 엔진의 성능이 안정적으로 유지되었다는 것입니다. 우리는 마침내 플레이어들에게 매끄러운 경험을 제공할 수 있게 되었고, 플레이어들은 오류 메시지로 인한 좌절감 없이 보물 찾기를 즐길 수 있었습니다.

다르게 했을 점

되돌아보니, 우리는 이 문제를 충분히 예상할 수 있었어야 했다는 것을 깨달았습니다. 결국, 우리 서버에서 고동시성 (High-concurrency) 문제를 다룬 것이 이번이 처음은 아니기 때문입니다. 이번에 제가 다르게 했을 것이라면, 사후에 임시방편으로 패치를 시도하기보다 미리 해결책을 계획했을 것입니다. 기존 시스템에 수정 사항을 사후 적용 (Retro-fit)하려 하기보다, 처음부터 견고한 솔루션을 설계하기 위해 DevOps 팀과 협력했을 것입니다. 그렇게 했다면, 방지할 수 있었던 실수로 인해 발생했던 다운타임 (Downtime), 좌절감, 그리고 매출 손실을 피할 수 있었을 것입니다.