Anthropic 엔지니어 Vivek Nair가 공식 블로그에 매우 실질적인 공학적 회고록을 작성했습니다. 이 글은 다중 사용자 실시간 협업 문서 제품인 Claude Docs를 출시하기 전 2주 동안 진행했던 부하 테스트(Stress Test) 경험에 대한 내용입니다.
이 시스템의 워크플로우와 AI와의 협업 방식이 매우 뛰어나 참고할 만합니다.
시스템의 내구성을 2주 안에 끌어올리기 위해, 그들은 전통적인 방식으로 사람이 직접 부하 테스트 스크립트를 작성하고 모니터링을 확인하는 대신, 연속적으로 2주 동안 돌아가는 혼돈 루프(Chaos Loop)를 구축했습니다. 그리고 Claude에게 예발행 환경에서 스스로 고부하 오류를 만들고, 모니터링 데이터를 읽고, 코드를 수정하며 재배포 및 재테스트하도록 맡겼습니다.
결과적으로 9월 16일 출시 후 6일 만에 사용자들이 460만 개가 넘는 문서를 생성했으며, 한 달 동안 629회의 무롤백(zero rollback) 배포를 기록했습니다. 수십억 건의 요청 중 서버 오류는 단 60건만을 보였고, 약 50개의 메모리 최적화 노드에서 트래픽을 안정적으로 감당해냈습니다.
작가는 전체 소프트웨어 시스템의 가시성(Observability)과 기술 스택 재구성을 대규모 언어 모델(LLM)에 매우 친화적인 형태로 만들었습니다.
첫 번째 단계는 폐쇄 루프(Closed Loop)를 구축하는 것이었습니다. 작가는 예발행 환경에서 상주하는 Claude Code 마스터 세션을 열었습니다.
각 사이클마다 부하 테스트 도구는 극단적인 시나리오를 골라 서비스를 최대치로 가동시켰습니다. 예를 들어, 하루에 1천만 개의 문서를 새로 생성하거나, 2.2만 개의 실시간 연결이 동시에 재연결되거나, 수백 명이 하나의 인기 문서에 몰려들 때 서버를 강제 종료시키고 데이터베이스를 마비시키는 식입니다.
그러면 Claude는 Datadog MCP를 통해 원격 측정(Telemetry) 데이터를 읽어와 복구 방안을 제시했습니다.
AI가 시스템을 엉망으로 만들지 않도록, 작가는 사전에 두 가지 지점을 설정했습니다. 첫 번째는 문서의 이력이 아무리 길어도 즉시 열려야 하며, 서버 측에서 편집 수신 확인 시 데이터를 절대 손실해서는 안 된다는 점입니다. 또한 의사결정 경계를 규정했는데, 쉽게 롤백할 수 있는 수정 방식은 모델이 스스로 완성하여 바로 배포하고 재테스트하도록 했습니다.
데이터베이스 테이블 구조나 문서 저장 형식처럼 되돌리기 어려운 대규모 변경 사항은 반드시 중단하고 몇 가지 선호도에 따른 제안 방안을 나열한 후 작가의 결정이 필요했습니다.
두 번째 단계는 모델이 버그를 수정할 때 자주 발생하는 신호 사각지대(Signal Blind Spot) 문제를 해결하는 것이었습니다. 부하 테스트에서 이상 징후가 발견되었지만 기존 모니터링 로그로는 원인을 알 수 없을 때, 작가는 모델에게 루프 안에서 임의로 모니터링 기능을 추가하게 하고, 다시 부하 테스트를 진행하고, 새로운 지표를 읽게 했습니다.
글에서는 매우 전형적인 메모리 추적 사례를 들었습니다. 초기에는 큰 문서를 여는 것만으로도 단일 노드의 3GB 메모리를 소모했습니다.
Claude가 처음에는 자체 캐시가 제때 제거되지 않았다고 추측하고 캐시 축소를 재테스트했지만, 메모리가 전혀 줄지 않는 것을 발견했습니다. 이에 스스로 추가한 세밀한 메모리 프로파일링(Memory Profiling)을 이용해 의존 라이브러리 캐시는 제외했고, 최종적으로 원인을 파악했습니다.
모델이 매 라운드마다 보는 지표가 깨끗한 신호여야 하며, 하위 런타임의 노이즈에 의해 왜곡되지 않도록 하기 위해, 그들은 작업 시작 전에 매우 까다로운 기술 스택을 선택했습니다.
백엔드는 Rust를 직접 사용했으며, 제3자 의존성(Third-party Dependency)은 극도로 자제했습니다. 반드시 필요한 몇몇 라이브러리는 소스 코드를 그대로 저장소에 복사해 넣었습니다.
이유는 매우 현실적입니다. 가비지 컬렉션(Garbage Collection, GC)을 사용하는 언어를 사용하면 메모리와 지연 시간의 변동이 GC 스케줄링과 함께 움직이기 때문에, 모델은 지표 변화가 자신이 코드를 수정한 것인지, 아니면 가비지 컬렉터가 우연히 작동한 것인지 구분할 수 없습니다.
반면 Rust를 사용하여 의존성을 최소화하자, 모니터링에서 측정되는 모든 바이트의 메모리와 데이터베이스 쿼리 스캔 행 수는 저장소에 직접 작성된 몇 줄의 코드까지 100% 정확하게 추적(Trace)할 수 있었습니다. 모델은 깨끗한 신호에 의존하여 최적화 작업을 할 때 길을 잃지 않습니다.
게다가 이전에는 Rust를 선택하는 것에 엔지니어가 배우기 어렵고 작성하기 힘들다는 우려가 있었지만, 이제 코드를 모두 모델이 작성하게 되면서 이 인력 비용에 대한 우려는 크게 줄었습니다.
전체 글을 통해 볼 때 가장 핵심적인 아이디어는 관련 없는 신호의 간섭을 배제하는 것과 이 전체 워크플로우 링크의 원격 측정(Telemetry)이라는 두 가지 지점입니다.