AI 기반 검색 엔진 스케일링의 쓰라린 진실: 나의 Treasure Hunt Engine 참사

우리가 실제로 해결하려 했던 문제

Treasure Hunt Engine을 기반으로 구동되는 우리의 검색 엔진이 균열을 보이기 시작했던 그날을 여전히 기억합니다. 우리는 막 사용자 수 100,000명을 돌파했고, 서버 성장세는 폭발적이었습니다. 우리의 AI 기반 검색 역량의 핵심(crown jewel)이 되어야 했던 이 엔진은 제 역할을 다하지 못하고 있었습니다. 문제는 단순히 증가한 부하를 처리하는 것뿐만 아니라, 검색 결과의 정확도(accuracy)와 관련성(relevance)을 유지하는 것이었습니다. 저는 Veltrix 문서를 샅샅이 살펴보며 수많은 시간을 보냈지만, 정작 우리가 직면한 문제들은 교묘히 생략되어 있다는 사실만을 발견했습니다. 그때 저는 한 걸음 물러나 Treasure Hunt Engine의 스케일링(scaling) 방식에 대한 접근법을 재평가해야 한다는 것을 깨달았습니다.

우리가 처음 시도했던 것 (그리고 왜 실패했는가)

엔진을 스케일링하기 위한 우리의 초기 시도는 문제에 더 많은 하드웨어를 투입하는 것이었습니다. 클러스터(cluster)에 더 많은 노드(node)를 추가하고, RAM을 늘렸으며, 심지어 GPU 가속(GPU acceleration)도 실험해 보았습니다. 하지만 늘어난 리소스에도 불구하고 엔진의 성능은 계속해서 저하되었습니다. 지연 시간(latency)이 눈에 띄게 증가하여 일부 쿼리(query)는 결과를 반환하는 데 5초 이상이 걸리기도 했습니다. 오류율(error rate) 또한 상승하여, 쿼리의 무려 20%가 부정확하거나 불완전한 결과를 반환했습니다. 우리의 접근 방식이 비효율적일 뿐만 아니라 효과적이지도 않다는 것이 명백해졌습니다. 우리는 근본적인 문제를 해결하기보다는 본질적으로 힘(brute-force)으로 문제를 돌파하려 하고 있었습니다. 클러스터에 새 노드를 추가한 후 오류가 500%나 급증했던 특히 좌절스러웠던 사건이 기억납니다. 그때 저는 엔진 스케일링에 대해 더 미묘하고 정교한(nuanced) 접근 방식이 필요하다는 것을 깨달았습니다.

아키텍처 결정

아키텍처 결정

많은 논의와 토론 끝에, 우리는 한 걸음 물러나 Treasure Hunt Engine을 바닥부터 다시 설계(re-architect)하기로 결정했습니다. 우리는 엔진의 모놀리식(monolithic) 설계가 확장성(scalability) 문제의 근본 원인임을 깨달았습니다. 우리는 엔진을 각각의 특정 작업을 담당하는 더 작고 전문화된 구성 요소들로 분해하기로 했습니다. 이렇게 하면 엔진 전체를 통째로 확장하려고 시도하는 대신, 개별 구성 요소를 독립적으로 확장(scale)할 수 있습니다. 또한, 엔진의 부하를 줄이고 성능을 향상시키기 위해 Redis를 사용한 캐싱 계층(caching layer)을 구현하기로 결정했습니다. 하지만 이 결정에 트레이드오프(tradeoffs)가 없는 것은 아니었습니다. 시스템의 복잡성 증가뿐만 아니라 캐시 무효화(cache invalidation) 문제의 가능성도 신중하게 고려해야 했습니다. 그럼에도 불구하고 우리는 이점이 위험보다 크다고 믿었으며, 그 도전을 기꺼이 받아들이기로 했습니다.

이후 수치가 말해준 것

재설계 노력의 결과는 놀라움 그 자체였습니다. 지연 시간(latency)이 90% 감소하여, 이제 쿼리가 500ms 미만으로 결과를 반환했습니다. 오류율 또한 급락하여, 부정확하거나 불완전한 결과가 95% 감소했습니다. 우리는 큰 어려움 없이 사용자 트래픽의 50% 증가를 처리할 수 있었으며, 엔진은 마침내 정확하고 관련성 있는 검색 결과를 제공하겠다는 약속을 이행할 수 있게 되었습니다. 또한 CPU 사용량 30% 감소, 메모리 사용량 25% 감소와 함께 리소스 활용도(resource utilization)의 상당한 감소도 확인했습니다. 이 수치들은 신중한 아키텍처와 설계의 힘을 증명하는 증거였습니다. 우리는 붕괴 직전에 있던 시스템을 성장하는 사용자 기반의 요구 사항을 처리할 수 있는 확장 가능하고 고성능인 엔진으로 탈바꿈시켰습니다.

내가 다르게 했을 일

지나고 보니, 처음부터 더 비판적인 시각으로 문제에 접근했을 것입니다. Veltrix 문서에 대해 더 회의적인 태도를 가졌을 것이며, Treasure Hunt Engine 설계의 근간이 되는 가정들에 더 기꺼이 이의를 제기했을 것입니다. 또한 직관과 추측에 의존하기보다는 우리의 아키텍처 (Architecture) 결정 사항들을 테스트하고 검증하는 데 더 많은 시간을 투자했을 것입니다. 구체적으로 다르게 결정했을 한 가지는 캐싱 레이어 (Caching layer)의 선택입니다. Redis가 제 역할을 다해주긴 했지만, 우리 엔진의 특수한 요구 사항에 맞춘 더 맞춤화된 캐싱 솔루션 (Customized caching solution)을 사용했다면 훨씬 더 나은 결과를 얻을 수 있었을 것이라 믿습니다. 아울러, 엔진의 동작과 성능을 더욱 완벽하게 이해할 수 있도록 모니터링 (Monitoring)과 로깅 (Logging)에 더 큰 비중을 두었을 것입니다. 이러한 교훈을 얻었음에도 불구하고, 저는 우리가 이뤄낸 성과가 자랑스러우며, 우리의 경험이 AI 기반 검색 엔진을 확장하려는 모든 엔지니어에게 경종을 울리는 사례가 될 것이라고 믿습니다.