Veltrix 배포는 서버 성장에 있어 시한폭탄과 같다

우리가 실제로 해결하려 했던 문제

나는 급격히 성장하는 우리 서버 클러스터에 Veltrix를 배포하는 임무를 맡았고, 시작부터 이 프로젝트는 기만적일 정도로 간단해 보였습니다. Veltrix가 제공한 문서는 철저했으며, 그들의 데모는 기존 인프라에 원활하게 통합될 것이라고 믿게 만든 인상적인 기능들을 보여주었습니다. 하지만 배포 규모를 확장하기 시작하면서, 우리는 지속적이고 좌절스러운 문제에 직면했습니다. 시스템이 주기적으로 멈추면서 지연 시간(latency) 스파이크가 발생하고 서비스가 중단되는 현상이었습니다. 에러 로그를 통해 반복되는 패턴을 확인했습니다. Veltrix 엔진이 우리가 보내는 요청의 양을 효율적으로 처리하지 못해, 500ms의 지연 시간 증가와 20%의 요청 실패율이 발생하고 있었습니다.

우리가 처음에 시도했던 것 (그리고 실패한 이유)

우리의 초기 접근 방식은 클러스터의 각 노드에 고정된 양의 리소스를 할당하도록 제안하는 Veltrix의 권장 설정을 따르는 것이었습니다. 하지만 사용자 기반이 성장함에 따라, 이러한 정적 할당(static allocation)이 리소스 병목 현상을 초래하여 시스템이 응답하지 않게 된다는 것을 발견했습니다. 우리는 Kubernetes를 사용하여 수요에 따라 노드를 자동으로 확장하는 동적 리소스 할당(dynamic resource allocation) 시스템을 구현하여 이를 완화하려고 시도했습니다. 이것이 어느 정도 도움이 되기는 했지만, 여전히 주기적인 멈춤 현상이 발생했으며 지연 시간 지표는 여전히 용납할 수 없는 수준이었습니다. 추가 조사 결과, Veltrix 엔진이 과도한 가비지 컬렉션(garbage collection) 오버헤드를 생성하고 있으며 이것이 멈춤 현상의 원인이 되고 있음을 발견했습니다. 구체적으로, 엔진이 CPU 사이클의 최대 30%를 가비지 컬렉션에 소비하고 있으며, 이로 인해 시스템이 응답하지 않게 된다는 점을 확인했습니다.

아키텍처 결정

많은 시행착오 끝에, 우리는 분산 캐싱 레이어 (distributed caching layer)를 사용하여 Veltrix 배포 아키텍처를 재설계하기로 결정했습니다. 이는 Veltrix 엔진의 요청 처리 부담을 일부 덜어내는 데 도움이 될 것입니다. 우리는 높은 성능과 대량의 요청을 처리할 수 있는 능력 덕분에 Redis를 캐싱 레이어로 선택했습니다. 캐싱 레이어를 구현함으로써 Veltrix 엔진의 부하를 줄일 수 있었고, 엔진이 가장 중요한 요청을 처리하는 데 집중할 수 있도록 했습니다. 또한, 시스템 지표를 면밀히 모니터링하고 잠재적인 문제가 심각해지기 전에 빠르게 식별하기 위해 Prometheus와 Grafana를 사용하여 커스텀 모니터링 시스템을 구축했습니다. 이를 통해 문제를 조기에 발견하고 해결할 수 있었으며, 평균 복구 시간 (MTTR)을 50% 단축했습니다.

수치가 보여준 결과

아키텍처 재설계의 효과는 즉각적이고 상당했습니다. 지연 시간 (latency) 지표가 75% 개선되어, 평균 요청 시간이 500ms에서 125ms로 감소했습니다. 요청 실패율 또한 20%에서 5% 미만으로 감소했습니다. 또한, 프리징 (freezes) 및 오류 횟수가 90% 감소하면서 시스템이 훨씬 더 안정적으로 변했습니다. 우리는 리소스 할당을 늘리지 않고도 이를 달성할 수 있었으며, 이는 우리 팀에게 큰 승리였습니다. 또한 가비지 컬렉션 (garbage collection) 오버헤드가 크게 감소한 것을 확인했으며, 이제 Veltrix 엔진은 CPU 사이클의 5% 미만을 가비지 컬렉션에 소비하고 있습니다.

내가 다르게 했을 일

지나고 보니, 저는 처음부터 Veltrix 문서와 권장 사항에 대해 더 비판적인 접근 방식을 취했을 것입니다. 그들의 데모는 인상적이었지만, 우리의 운영 환경 (production environment)의 복잡성을 반영하지는 못했습니다. 또한, 잠재적인 문제들이 심각해지기 전에 식별할 수 있도록 배포 환경에 대한 부하 테스트 (load testing)와 스트레스 테스트 (stress testing)에 더 많은 시간을 투자했을 것입니다. 추가적으로, 시스템 성능과 오류에 대한 더 나은 가시성 (visibility)을 제공하기 위해 초기부터 더 강력한 모니터링 (monitoring) 및 로깅 (logging)을 구현했을 것입니다. 구체적으로, 시스템 성능에 대한 보다 포괄적인 관점을 얻기 위해 요청 지연 시간 (request latency), 오류율 (error rates), 시스템 리소스 사용률 (system resource utilization)과 같은 지표 (metrics)들을 조합하여 사용했을 것입니다. 그렇게 함으로써 우리가 겪었던 몇몇 함정들을 피할 수 있었을 것이며, 처음부터 더 안정적이고 성능이 뛰어난 배포를 달성할 수 있었을 것입니다. 또한, 시스템 성능에 대한 더 상세한 통찰력을 제공하고 개선이 필요한 영역을 식별하는 데 도움을 받기 위해 New Relic 또는 Datadog과 같은 다른 도구들을 사용하는 것도 고려했을 것입니다.