자, 상황은 이랬습니다: 예산 내에서 AI 에이전트 데이터 분석을 수행하기 위한 CTO 플레이북

6개월 전, 저희 엔지니어링 팀은 단 하나의 AI 에이전트 데이터 파이프라인(data pipeline)에 매달 약 14,000달러를 지출하고 있었습니다. 모델은 훌륭했습니다. 지연 시간(latency)도 괜찮았습니다. 출력 품질은 솔직히 인상적이었습니다. 하지만 청구서가 우리의 런웨이(runway)를 갉아먹고 있었고, 저는 1년 전이었다면 터무니없게 느껴졌을 결정을 내려야만 했습니다. 완벽하게 작동하는 스택(stack)을 통째로 들어내고 처음부터 다시 구축하는 것이었습니다.

이것은 제가 그 일을 어떻게 해냈는지, 대규모로 AI 에이전트 데이터 분석을 출시하며 무엇을 배웠는지, 그리고 왜 제가 이제 모델 선택을 데이터베이스 선택과 동일하게 — 기본값이 아닌 전략적 결정으로 취급하는지에 대한 이야기입니다.

경종 (The Wake-Up Call)

우리는 GPT-4o를 기반으로 분석 에이전트를 구축했습니다. 그것은 경이로운 모델입니다. 그렇지 않은 척하지 않겠습니다. 하지만 프로덕션 트래픽이 하루 약 800만 토큰(tokens)을 넘어서는 순간, 계산이 맞지 않기 시작했습니다. 입력 토큰 100만 개당 2.50달러, 출력 토큰 100만 개당 10.00달러의 비용 체계에서, 새로운 고객을 유치할 때마다 초기 3개월 동안은 인프라 측면에서 순손실이 발생했습니다.

어느 화요일 아침 대시보드를 멍하니 바라보던 것이 기억납니다. 처리량(throughput)은 괜찮았습니다. 모델은 우리가 중요하게 생각하는 벤치마크(benchmarks)를 달성하고 있었습니다. 우리의 NPS(Net Promoter Score)는 상승하고 있었습니다. 그런데도 재무팀은 매주 해당 항목에 경고를 보냈습니다. 그것은 모든 스타트업 CTO가 두려워하는 순간입니다. 잘 작동하고 있는 것이, 만약 바꾸지 않는다면 당신을 죽게 만들 수도 있는 바로 그 순간 말입니다.

그래서 저는 첫날부터 물었어야 했던 질문들을 던지기 시작했습니다. 우리의 워크로드(workload)에 실제로 프로덕션 준비가 된 모델은 무엇인가? 플래그십(flagship) 모델과 새로운 세대의 더 가벼운 모델들 사이의 실제 비용 격차는 얼마인가? 그리고 결정적으로, 애플리케이션 전체를 다시 작성하지 않고도 제공업체(providers)를 전환할 수 있는가?

그 마지막 질문은 아무도 이야기하지 않는 부분입니다. LLM 분야에서의 벤더 종속 (Vendor lock-in)은 실재하며, 클라우드 종속 (cloud lock-in)보다 더 교묘합니다. 여러분의 프롬프트 엔지니어링 (prompt engineering), 평가 하네스 (evaluation harness), 재시도 로직 (retry logic), 그리고 관측성 (observability)이 모두 특정 제공업체의 API 구조를 전제로 설계되어 있다면, 전환 비용은 단순히 금전적인 문제에 그치지 않습니다. 그것은 여러분에게 남아있지 않은 엔지니어링 시간 그 자체입니다.

내가 전환을 결심하게 만든 비용 수치들

시장을 진지하게 살펴보기 시작했을 때, 그 격차는 입이 벌어질 정도였습니다. Global API에는 현재 184개의 모델이 나열되어 있으며, 티어 (tier)에 따라 100만 토큰당 가격이 $0.01에서 $3.50까지 다양합니다. 이 차이는 단순히 이론적인 수치가 아닙니다. 입력 토큰이 지배적인 (모든 프롬프트에 테이블, 스키마, 그리고 이전 컨텍스트를 밀어 넣어야 하기 때문) 분석 에이전트 (analytics agent)의 경우, 입력 가격이 실제로 손익 계산서 (P&L)를 움직이는 핵심 요소입니다.

다음은 제가 이사회 보고용 자료 (board deck)를 위해 작성한 비교표입니다:

GLM-4 Plus를 보십시오. 입력 $0.20, 출력 $0.80, 128K 컨텍스트 윈도우 (context window)입니다. 우리 에이전트 트래픽의 상당 부분 — 후속 질문, 구조화된 요약 호출, 라우팅 레이어 (routing layer) — 에 대해 GPT-4o와의 품질 차이는 우리 인간 평가 세트 (human eval set)의 노이즈 플로어 (noise floor) 범위 내에 있었습니다. 하지만 비용 차이는 12배였습니다.

그때 깨달았습니다. 우리는 품질에 비용을 지불하고 있었던 것이 아닙니다. 우리는 제품 상자에 박힌 로고에 비용을 지불하고 있었던 것입니다.

내가 실제로 배포한 아키텍처

우리가 최종적으로 도달한 프로덕션 준비 완료 (production-ready) 설정을 여러분께 안내해 드리겠습니다. 왜냐하면 이것이 대규모로 AI 에이전트 데이터 분석을 실행하는 거의 모든 팀에게 적합한 형태라고 생각하기 때문입니다.

핵심 통찰은 "AI 에이전트 데이터 분석"이 단 하나의 워크로드 (workload)가 아니라는 점입니다. 그것은 적어도 네 가지입니다:

1. 라우팅 및 의도 분류 (Routing and intent classification) — 아주 작은 프롬프트, 높은 볼륨, 저렴하고 빨라야 함.
2. 스키마 및 도구 선택 (Schema and tool selection) — 중간 정도의 컨텍스트, 구조적 추론.
3. 고강도 분석 추론 (Heavy analytical reasoning) — 품질이 실제로 중요한 핵심 호출 (flagship call).
4. 검증 및 자기 비판 (Verification and self-critique) — 일관성이 최고의 지능보다 더 중요한 또 다른 모델 호출.

이러한 각 워크로드 (workload)는 서로 다른 가격-품질의 최적 지점 (sweet spot)을 가지고 있습니다. 이들을 하나의 균질한 워크로드로 취급하는 것이 바로 팀들이 3,000달러면 충분할 서비스에 대해 월 14,000달러의 청구서를 받게 되는 이유입니다.

현재 저의 라우팅 로직은 들어오는 쿼리를 살펴보고, 이를 분류한 뒤 (매우 저렴한 GLM-4 Plus를 사용), 세 가지 모델 티어 (tier) 중 하나로 배정합니다. 핵심 호출 (flagship calls) — 전체 볼륨의 약 15% — 은 여전히 최상위 모델을 사용합니다. 나머지 85%는 더 가볍고 빠르며 극적으로 저렴한 엔드포인트 (endpoints)로 전달됩니다.

결과적으로, 이전의 모든 스택을 GPT-4o로 구성했을 때와 비교하여 비용을 40-65% 절감했으며, 내부 품질 벤치마크 (benchmarks)는 2% 포인트 미만으로 변동되었습니다. 이것이 바로 CFO가 실제로 주목하는 ROI (투자 대비 수익)입니다.

코드 (The Code)

다음은 우리가 모든 곳에서 사용하는 기본 클라이언트 설정입니다. 우리 데이터 팀이 작성하는 방식인 Python 버전을 보여드리지만, 동일한 구조가 Node와 Go에서도 작동합니다.

import os
from openai import OpenAI

...

base_url에 주목하세요. 이 한 줄이 제가 특정 제공업체에 종속되지 않는 이유입니다. 다음 분기에 더 저렴한 모델이 출시되거나, 특정 제공업체에 지역적 장애가 발생하더라도, 저는 모델 문자열만 변경하고 계속 진행하면 됩니다. 저의 애플리케이션 코드, 프롬프트 라이브러리, 평가 하네스 (eval harness) 중 그 어느 것도 변경되지 않습니다. 이것은 사후 고려 사항이 아니라 하나의 기능으로서의 벤더 락인 (vendor lock-in) 방지입니다.

심층 티어 (deep tier)에서 스트리밍 응답을 처리하기 위한 두 번째 스니펫입니다. 이는 체감 지연 시간 (latency)에 대한 많은 불만을 해결해 주었습니다.

def stream_agent(user_query: str, context: str):
    """첫 번째 토큰 생성 시간 (time-to-first-token) 이득을 위해 핵심 티어를 스트리밍합니다."""
    response = client.chat.completions.create(
...

스트리밍 (Streaming)을 통해 가장 긴 꼬리(long-tail) 쿼리에서의 체감 응답 시간을 약 800ms 단축했습니다. 규모가 커질수록, 이는 사용자가 "빠르다"고 느끼느냐 혹은 "느리다"고 느끼느냐의 차이를 만듭니다.

실제로 발생한 문제 (그리고 배운 점)

이전 작업이 깔끔했다고 말한다면 거짓말일 것입니다. 몇 가지 문제로 인해 어려움을 겪었으며, 마케팅 자료에서는 절대 말해주지 않는 사실이기에 솔직하게 밝히고자 합니다.

토큰화 (Tokenization) 차이. 모델을 교체할 때 토큰 수는 1:1로 전이되지 않습니다. 동일한 영어 프롬프트라도 모델에 따라 토큰 수가 10~15% 더 많을 수 있습니다. 우리는 비용 예측 모델을 처음부터 다시 구축해야 했습니다. 토큰화가 표준화되어 있다고 생각했던 제 자신이 부끄러울 정도입니다.

지연 시간 (Latency) 변동성. 평균 지연 시간 1.2초는 실제 수치이지만, 평균은 거짓말을 합니다. 미국 저녁 시간대에 저가형 모델 두 곳에서 p99 지연 시간이 급증하는 것을 확인했습니다. 우리는 간단한 폴백 체인 (fallback chain)으로 이를 해결했습니다. 호출이 4초 이내에 반환되지 않으면, 바로 위 단계의 티어로 한 번 재시도하는 방식입니다. 비용은 몇 퍼센트 더 발생하지만, 수많은 화난 고객을 막아줍니다.

에지 케이스 (Edge cases)에서의 품질 변동성. 우리의 플래그십 모델은 약 95%의 사례에서 미묘한 통계적 오류를 잡아냈습니다. 미드 티어 (mid-tier) 모델은 약 82%의 사례에서 이를 잡아냈습니다. 수치상으로는 작아 보일 수 있지만, 데이터 분석 제품에서 조용한 계산 오류는 브랜드 가치를 파괴하는 요인입니다. 우리는 숫자가 포함된 모든 답변에 대해 (상관 오류를 피하기 위해 다른 모델 제품군을 사용하는) 검증 호출 (verification call)을 추가했습니다. 우리가 보고 있는 84.6%의 평균 벤치마크 점수는 모든 티어에 걸친 혼합 결과입니다.

캐시 (Cache) 동작. 아무리 강조해도 지나치지 않습니다. 공격적으로 캐싱하십시오. 분석 쿼리에 대해 첫 주 만에 40%의 히트율 (hit rate)을 기록했는데, 이는 분석가들이 약간씩 다른 방식으로 동일한 질문을 하기 때문입니다. 그 40%는 순수한 마진입니다. 만약 프롬프트 유사도 (prompt-similarity) 수준에서 캐싱을 하지 않고 있다면, 수익을 놓치고 있는 것입니다.

벤더 종속 (Vendor Lock-In) 문제

이 부분은 별도의 섹션으로 다룰 가치가 있습니다. 왜냐하면 이것이 대부분의 CTO들이 회피하려 하는 대화의 주제라고 생각하기 때문입니다.

단일 제공자의 API를 기반으로 구축할 때, 당신은 단순히 토큰(tokens)만을 구매하는 것이 아닙니다. 당신은 그들의 SDK 컨벤션(SDK conventions), 속도 제한(rate limit) 의미론, 에러 엔벨로프(error envelope), 지원 중단 정책(deprecation policy), 그리고 가격 로드맵(pricing roadmap)까지 함께 구매하는 것입니다. 이 중 어느 하나라도 당신이 원치 않는 방식으로 변경되는 순간, 당신은 꼼짝달싹 못 하게 됩니다. 그리고 현재의 LLM 시장에서, 동일한 성능 대비 가격은 매년 대략 10배씩 하락하고 있습니다. 작년 가격에 고착되는 것은 실질적인 비용 손실입니다.

Global API와 같은 통합 API 인터페이스를 통해 라우팅(Routing)한다고 해서 이 문제가 마법처럼 해결되지는 않지만, 의존성을 "모델 벤더(model vendor)"에서 "라우팅 계층(routing layer)"으로 전환해 줍니다. 이는 훨씬 더 나은 상태입니다. 왜냐하면 라우팅 계층은 당신이 이식성(portable)을 유지하도록 할 경제적 유인이 있기 때문입니다. 반면 모델 벤더는 그렇지 않습니다.

우리는 또한 제가 "스왑 드릴(swap drill)"이라고 부르는 분기별 연습을 수행합니다. 저는 운영 중인 엔드포인트(endpoint) 중 하나를 선택하여 일주일 동안 다른 모델로 전환한 뒤, 품질과 비용의 차이(delta)를 측정합니다. 이는 엔지니어 2일 치의 작업량입니다. 이 과정은 우리가 정직함을 유지하게 해주며, 만약 어떤 제공자가 가격을 인상하거나 신뢰성 문제(reliability incident)를 일으키더라도 우리가 허둥지둥하지 않고 이미 연습해 온 플레이북(playbook)을 실행할 수 있음을 의미합니다.