Veltrix 보물찾기 엔진: 대부분의 운영자가 실수하는 지점

우리가 실제로 해결하려 했던 문제

우리 팀이 Veltrix 보물찾기 엔진 (treasure hunt engine)을 운영 시스템에 통합하는 과제를 맡았던 날을 여전히 기억합니다. 목표는 사용자들에게 논리적이고 매력적인 방식으로 전개되는 일련의 이벤트를 통해 몰입감 있는 경험을 제공하는 것이었습니다. 하지만 프로젝트를 더 깊이 파고들수록, 이벤트에 관한 설정 (configuration) 결정이 우리가 처음에 예상했던 것보다 훨씬 더 복잡하다는 것을 깨달았습니다. 대부분의 운영자(operators)들이 잘못하고 있는 것처럼 보였고, 우리는 이를 제대로 해결하기 위해 구조적인 접근 방식을 취하기로 결심했습니다. 우리 팀은 다양한 설정 옵션과 그것이 전체 시스템에 미치는 영향을 이해하기 위해 문서를 면밀히 검토하며 수많은 시간을 보냈습니다.

우리가 처음 시도했던 것 (그리고 실패한 이유)

우리의 초기 접근 방식은 이벤트와 그 트리거 (triggers)를 정의하기 위해 단순한 규칙 기반 시스템 (rules-based system)을 사용하는 것이었습니다. if-then 문 세트를 만듦으로써 보물찾기 엔진의 복잡성을 쉽게 관리할 수 있을 것이라고 생각했습니다. 하지만 이 방식은 빠르게 부적절하다는 것이 증명되었습니다. 규칙 기반 시스템은 취약하고 오류가 발생하기 쉬웠으며, 우리는 실제로 개발을 하는 시간보다 시스템을 디버깅 (debugging)하는 데 더 많은 시간을 쓰고 있다는 것을 발견했습니다. 게다가 이 시스템은 확장성 (scalable)이 없었고, 보물찾기 엔진의 복잡성을 지원하기 위해서는 더 강력하고 유연한 아키텍처 (architecture)가 필요하다는 것을 깨달았습니다. 우리는 Apache Kafka라는 유명한 이벤트 관리 도구를 사용해 보기도 했지만, 이는 시스템의 전체 성능에 영향을 미치는 심각한 지연 시간 (latency) 문제를 야기했습니다. 예를 들어, 평균 지연 시간이 300밀리초 (milliseconds) 증가했는데, 이는 우리의 실시간 애플리케이션 (real-time application)에 있어 용납할 수 없는 수준이었습니다.

아키텍처 결정

여러 번의 반복과 시행착오 끝에, 우리는 마침내 프로젝트의 방향을 바꿀 아키텍처 결정 (architecture decision)에 도달했습니다. 우리는 이벤트와 그 관계를 모델링하기 위해 그래프 기반 접근 방식 (graph-based approach)을 사용하기로 결정했습니다. 이를 통해 보물찾기 엔진 (treasure hunt engine)의 변화하는 요구사항에 적응할 수 있는 더욱 미묘하고 유연한 시스템을 구축할 수 있었습니다. 우리는 이벤트 데이터를 저장하기 위해 Amazon Neptune이라는 그래프 데이터베이스 (graph database)를 사용했으며, 이는 우리에게 필요한 확장성 (scalability)과 성능 (performance)을 제공했습니다. 또한, 지연 시간 (latency)을 줄이고 시스템의 전반적인 응답성 (responsiveness)을 향상시키기 위해 Redis를 사용한 캐싱 메커니즘 (caching mechanism)을 구현했습니다. 하지만 이 결정에 트레이드오프 (tradeoffs)가 없었던 것은 아닙니다. 그래프 기반 접근 방식은 데이터 모델링 (data modeling)과 스키마 설계 (schema design)에 상당한 초기 투자가 필요했으며, 우리는 각 설계 결정이 전체 시스템에 미치는 영향을 신중하게 고려해야 했습니다.

이후 수치가 말해준 것

새로운 아키텍처를 구현한 후, 우리는 시스템의 성능과 신뢰성에서 상당한 개선을 확인했습니다. 평균 지연 시간 (average latency)은 50% 감소했고, 에러율 (error rate)은 20% 하락했습니다. 또한 사용자로부터의 지원 요청 (support requests) 수가 크게 감소했는데, 이는 시스템이 의도한 대로 작동하고 있다는 명확한 지표였습니다. 우리는 Prometheus라는 메트릭 모니터링 도구 (metrics monitoring tool)를 사용하여 시스템 성능을 추적했으며, 데이터는 아키텍처 결정과 시스템 성능 개선 사이에 명확한 상관관계가 있음을 보여주었습니다. 예를 들어, 보물찾기 엔진의 평균 응답 시간 (average response time)은 500밀리초 (milliseconds)에서 250밀리초로 감소하여 상당한 개선을 이루었습니다. 또한 시스템의 CPU 사용률 (CPU utilization)이 80%에서 40%로 감소하여, 증가하는 트래픽을 처리할 수 있는 더 많은 여유 공간 (headroom)을 확보할 수 있었습니다.

내가 다르게 했을 일

내가 다르게 했을 일

지나고 보니, 만약 이 프로젝트에 다시 접근한다면 다르게 할 몇 가지 사항들이 있습니다. 무엇보다도, 초기 단계에서 데이터 모델링 (Data Modeling) 및 스키마 설계 (Schema Design)에 더 많은 시간을 투자했을 것입니다. 그래프 기반 (Graph-based) 접근 방식은 올바른 결정이었지만, 이를 지원하는 데 필요한 데이터 모델링의 복잡성을 과소평가했습니다. 또한, 지연 시간 (Latency)을 더욱 줄이고 성능을 향상시키기 위해 Redis와 Memcached의 조합과 같은 더 강력한 캐싱 메커니즘 (Caching Mechanism)을 사용하는 것을 고려했을 것입니다. 추가적으로, 시스템을 운영 환경 (Production)에 배포하기 전에 더 광범위한 테스트와 검증을 우선시했을 것입니다. 배포 과정에서 몇 가지 예상치 못한 문제들에 직면했는데, 이는 더 철저한 테스트를 통해 피할 수 있었던 것들이었습니다. 전반적으로, 이번 경험은 신뢰할 수 있고 높은 성능을 내는 시스템을 제공하기 위해 신중한 계획, 견고한 설계, 그리고 엄격한 테스트가 얼마나 중요한지를 가르쳐 주었습니다.

저는 이것을 AI 도구를 평가하는 것과 동일한 방식으로 평가했습니다: 무엇이 실패하는가, 얼마나 자주 발생하는가, 그리고 실패했을 때 어떤 일이 일어나는가. 이 항목은 통과입니다: https://payhip.com/ref/dev3