우리가 실제로 해결하려 했던 문제
우리는 단순히 보물찾기 시스템을 구축하고 있었던 것이 아닙니다. 플레이어들이 몇 시간 동안 몰입할 수 있는 경험을 만들고자 했습니다. 문제는 우리가 이벤트 기반 아키텍처 (Event-Driven Architecture)에 너무 과도하게 의존했다는 점인데, 이는 동시 이벤트 (Concurrent Events)를 처리하는 가장 간단한 방법처럼 보였습니다. 우리는 각 이벤트마다 별도의 스레드 (Thread)를 생성함으로써 시스템의 응답성 (Responsiveness)과 효율성 (Efficiency)을 보장할 수 있다고 생각했습니다.

우리가 처음 시도했던 것 (그리고 실패한 이유)
우리는 보물찾기를 관리하기 위해 내장된 Veltrix 이벤트 핸들러 (Event Handler)를 사용하는 것으로 시작했습니다. 플레이어가 특정 구역에 진입할 때마다 이벤트를 생성하도록 구성했고, 시스템은 플레이어에게 포인트와 아이템으로 보상을 제공했습니다. 하지만 더 많은 플레이어가 접속함에 따라, 이벤트 핸들러는 엄청난 양의 요청 (Requests)을 처리하는 데 어려움을 겪기 시작했습니다. 시스템이 멈추면서 서버가 충돌 (Crash)했고, 플레이어들은 무한 루프 (Infinite Loop)에 빠지게 되었습니다. 우리는 스레드 (Thread) 수를 늘려 이벤트 핸들러를 최적화하려고 시도했지만, 이는 문제를 악화시킬 뿐이었습니다. 시스템은 더욱 응답하지 않게 되었고, 충돌은 더 빈번해졌습니다.

아키텍처 결정
몇 주간의 디버깅 (Debugging)과 테스트 끝에, 우리는 이벤트 기반 아키텍처 (Event-Driven Architecture)가 문제의 근본 원인임을 깨달았습니다. 우리는 이벤트를 중앙 큐 (Central Queue)로 보내고 백그라운드 (Background)에서 처리하는 메시지 큐 기반 아키텍처 (Message Queue-based Architecture)로 전환하기로 결정했습니다. 이를 통해 이벤트 생성 (Event Generation)과 이벤트 처리 (Event Processing)를 디커플링 (Decouple)할 수 있었고, 과부하 상황에서도 시스템의 응답성을 유지할 수 있었습니다. 또한 이벤트 큐 (Event Queue)가 너무 커지는 것을 방지하기 위해 속도 제한기 (Rate Limiter)를 구현하여 충돌을 예방하는 데 도움을 주었습니다. 훨씬 더 복잡한 아키텍처였지만, 시스템이 붕괴되는 것을 막기 위해서는 그만한 가치가 있었습니다.

수치가 말해주는 결과
메시지 큐 기반 아키텍처 (Message Queue-based Architecture)로 전환한 후, 우리 시스템은 훨씬 더 안정적으로 변했습니다.

우리는 충돌(crash)이 현저히 감소하는 것을 확인했으며, 플레이어들은 중단 없이 보물찾기에 참여할 수 있었습니다. 주요 지표(key metrics)도 개선되었습니다: 플레이어 참여도(player engagement)가 25% 증가했고, 서버 가동 시간(server uptime)은 99.9%로 급증했습니다. 하지만 우리를 정말 놀라게 했던 것은 지연 시간(latency)의 감소였습니다. 이전의 이벤트 기반 아키텍처 (Event-driven architecture)에서는 시스템이 이벤트를 처리하는 데 종종 5~10초가 걸렸습니다. 새로운 아키텍처를 도입한 후, 지연 시간은 1초 미만으로 떨어졌습니다. 이는 밤과 낮의 차이만큼이나 극명한 변화였습니다.

만약 제가 프로젝트를 다시 수행해야 한다면 다르게 할 점
만약 제가 프로젝트를 처음부터 다시 한다면, 초기 단계부터 부하 테스트 (load testing)와 시뮬레이션 (simulation)에 더 집중할 것입니다. 우리는 철저한 부하 테스트 없이 시스템을 출시하는 실수를 저질렀고, 이는 일련의 비용이 많이 드는 지연과 수정 작업으로 이어졌습니다. 또한 Veltrix의 이벤트 핸들러 (event handler)의 미묘한 차이를 이해하는 데 더 많은 시간을 투자했을 것입니다. 처음에는 단순한 해결책처럼 보였지만, 결국 우리의 사용 사례 (use case)에는 너무 유연하지 못하다는 것을 발견했습니다. 아키텍처와 테스트에 대해 더 의도적으로 접근했다면, 많은 고충을 피하고 수개월의 개발 시간을 절약할 수 있었을 것입니다.