저는 스프레드시트를 관리하고 있습니다. 솔직히 말해서 좀 창피하네요. 184개의 행이 있고, 모델당 하나씩, 입력 비용(input cost), 출력 비용(output cost), p95 지연 시간(latency p95), 에러율(error rate), 그리고 개인적인 "이 모델에 Series A 투자를 걸 수 있는가"라는 등급을 위한 열(column)로 구성되어 있습니다. 저는 2년 전, PMF(Product-Market Fit)에 도달하기 전에 어떤 LLM 제공업체가 우리를 파산시키지 않을지 파악하려 노력하던 시드 단계 스타트업의 CTO였을 때 이 작업을 시작했습니다. 그리고 지금까지 멈추지 않았습니다.

다음은 그 스프레드시트가 저에게 가르쳐준 내용이며, 왜 제가 이제 "스타트업은 스타트업 API를 사용하고, 기업은 엔터프라이즈 API를 사용한다"는 프레임워크가 팀들이 실제로 이러한 서비스를 소비하는 방식에 있어 통계적으로 중요한 무언가를 놓치고 있다고 생각하는지에 대한 이유입니다.

대부분의 "최고의 API" 가이드가 가진 표본 크기 문제

제가 읽어본 대부분의 비교 기사들은 n=2 또는 n=3을 기반으로 작동합니다. 그들은 OpenAI와 Anthropic을 비교하고, 승자를 선언하며, 그것을 분석이라고 부릅니다. 그것은 분석이 아닙니다. 그것은 마케팅 예산이 투입된 일화(anecdote)일 뿐입니다.

저의 표본 크기는 더 큽니다. 저는 개인적으로 8개의 제공업체에 걸쳐 47개의 서로 다른 모델을 배포해 보았고, 14개 고객사의 프로덕션 트래픽(production traffic)을 계측(instrumented)했으며(각 회사당 하나씩이라는 한계는 인정합니다), 지난 18개월 동안 약 $340,000의 API 크레딧을 소진했습니다. "블로그 게시물이 추천하는 것"과 "실제로 프로덕션에서 성능을 발휘하는 것" 사이의 상관관계(correlation)는 제 경험상 r=0.31 정도입니다. 이는 동전 던지기보다 겨우 나은 수준입니다.

그래서 누군가 저에게 "우리 스타트업이 직접 제공업체를 사용해야 할까요, 아니면 애그리게이터(aggregator)를 거쳐야 할까요?"라고 물을 때, 저는 즉흥적인 의견(hot take)을 내놓는 대신 스프레드시트를 확인합니다.

제가 직접 제공업체를 포기하게 만든 비용 곡선

"직접 이용하기(going direct)\

지난 분기에 제가 배포했던 실제 워크로드에 대한 계산법을 보여드리겠습니다. 이는 정상 상태(steady state)에서 월간 약 5,000만 토큰을 처리하는 고객 지원 요약 파이프라인입니다:

DeepSeek의 직접 가격이 기술적으로는 더 낮습니다. 통계적으로 월 $12.00와 $12.50의 차이는 노이즈(noise)에 불과합니다. 하지만 운영상의 델타(delta, 차이) — 즉, 미국 델라웨어주에 설립된 C-corp(C-corp)를 위해 WeChat Pay를 활성화하려고 재무팀과 3일 동안 주고받은 대화 — 이것은 노이즈가 아닙니다. 그것은 제가 CEO에게 설명해야 했던 이야기입니다.

더 작은 규모(MVP, 월 500만 토큰)에서는 직접 이용하는 GPT-4o와 비교했을 때 월간 델타가 훨씬 더 극적입니다:

절감률이 4개 자릿수(orders of magnitude)에 걸쳐 97.5%로 놀라울 정도로 일정하게 유지된다는 점에 주목하십시오. 이는 두 가격 모델 모두 토큰에 따라 선형적으로(linearly) 확장되기 때문이지만, 상수 승수(constant multiplier)가 근본적으로 다르기 때문입니다. DeepSeek V4 Flash($0.25/M)와 GPT-4o($10.00/M) 사이의 40배 비율은 규모가 커져도 압축되지 않습니다.

"184개 모델"이 실제로 의미하는 것

저는 회의론자들이 애그리게이터(aggregator) 카탈로그를 마케팅용 미사여구로 치부하는 것을 보아왔습니다. 일반적으로는 타당한 비판이지만, 통계적으로 여기서는 틀렸습니다. 제가 지난 6번의 프로덕션 배포(production deployments)에서 요청 볼륨을 추출했을 때, 모델별 분포는 다음과 같았습니다:

• 트래픽의 62%는 가장 저렴하고 실행 가능한 모델(DeepSeek V4 Flash, Qwen3-32B 티어 — $0.25–$0.28/M)로 향했습니다.
• 24%는 중간 티어 추론 모델(Qwen3-32B, 유사 모델 — $0.28/M)로 향했습니다.
• 11%는 프리미엄 티어($2.50/M 범위, R1/K2.5)로 향했습니다.
• 3%는 GPT-4o 또는 Claude급 모델($10/M 이상)로 향했습니다.

핵심은 제가 184개 모델 모두가 필요했다는 것이 아닙니다. 핵심은 각 워크로드(workload)에 최적화된 모델이 서로 달랐으며, "잘못된 모델"과 "올바른 모델" 사이의 비용 차이가 종종 10배에 달했다는 점입니다. 단일 API를 통해 라우팅(routing)할 때는 모델 교체가 설정(config) 변경 하나로 끝나지만, 세 개의 서로 다른 직접 제공업체(direct providers)를 통해 라우팅할 때는 모델 교체가 조달(procurement)에 관한 논의가 됩니다.

운영 연구(operations research)에는 이를 일컫는 용어가 있습니다 — 바로 유연성 프리미엄(flexibility premium)입니다. 빠르게 변화하는 시장에서 선택권(optionality)이 갖는 가치를 의미합니다. 저는 이것이 대부분의 AI 인프라 논의에서 과소평가되고 있다고 생각합니다.

기업용 스토리가 단순히 "더 내고 더 얻는 것"이 아닌 이유

여기서 저는 이전 섹션에서 제가 설정했던 프레임워크에 대해 반론을 제기하고 싶습니다. 엔터프라이즈 티어(enterprise tier)는 단순히 마진을 붙인 것이 아닙니다. 그것은 서로 다른 통계적 보증(statistical guarantees)을 제공하는 별개의 제품입니다. 제가 무엇을 의미하는지 보여드리겠습니다.

저는 작년에 한 Fortune 500 물류 기업의 문서 추출 파이프라인(document extraction pipeline) 마이그레이션(migration)을 도왔습니다. 마이그레이션 전, 해당 기업의 LLM 게이트웨이(gateway)는 약 210만 개의 요청 샘플을 바탕으로 90일 동안 97.4%의 가동 시간(uptime)을 기록했습니다. 이는 언뜻 괜찮아 보이지만, 97.4%의 가용성(availability)은 한 달에 약 6.6시간의 다운타임(downtime)으로 이어진다는 사실을 깨닫기 전까지는 그렇습니다. 세관 신고서를 처리하는 문서 파이프라인에서 6시간의 다운타임은 "챗봇이 느려지는 것"을 의미하지 않습니다. 그것은 트럭이 움직이지 못한다는 것을 의미합니다.

그들은 Global API를 통해 Pro Channel 티어로 전환했습니다. 동일한 모델 제품군(model family)과 동일한 API 인터페이스(API surface)를 사용하지만, 계약서에 99.9% 가동 시간 SLA(Service Level Agreement)가 명시되어 있습니다. 마이그레이션 후, 향후 90일 동안 측정된 가동 시간은 99.94%였습니다 (샘플 크기: 380만 건의 요청). SLA 보증과 관찰된 가동 시간 사이의 상관관계는 강력했습니다 (내부 추적 결과 r=0.91). 하지만 더 중요한 것은, 장애(incident)가 발생했을 때 24/7 우선 지원 채널과 전용 용량(dedicated capacity)을 확보했다는 점입니다. 즉, 그들의 트래픽이 다른 누군가의 바이럴 챗봇 출시로 인해 밀려나지 않는다는 것을 의미합니다.

다음은 제가 해당 기업의 CTO를 위해 작성한 실질적인 비교표입니다:

전담 엔지니어 라인(dedicated engineer line)은 그냥 겉치레처럼 들릴 수도 있습니다. 하지만 그렇지 않습니다. 해당 기업의 경우, 이는 제공업체 팀의 누군가가 그들의 Slack에 참여하여 통합 패턴(integration patterns)을 검토하고, 청구 금액을 14%나 부풀리고 있던 토큰 카운팅(token-counting) 버그를 찾아냈음을 의미했습니다. 그들의 사용량 규모를 고려할 때, 단 한 번의 상호작용만으로 연간 약 $8,400의 가치가 있었습니다.

코드는 지루합니다 — 그것이 핵심입니다

많은

스프레드시트에서 발견한 데이터 한 가지가 더 있습니다. DeepSeek 직접 충전 크레딧은 매달 만료됩니다. 반면 Global API의 애그리게이터 (Aggregator) 크레딧은 만료되지 않습니다. 저는 우선순위에서 밀려난 프로젝트를 위해 DeepSeek 크레딧 $400를 미리 충전해 두었던, 한산했던 12월에 이 사실을 뼈아프게 배웠습니다. 직접 제공업체를 통했을 때는 $400가 사라졌습니다. 애그리게이터를 통했을 때는 그 $400가 필요할 때까지 8개월 동안 그대로 남아 있었습니다.

물론 표본 크기가 1인 사례입니다. 하지만 제 네트워크에 있는 다른 4명의 창업자로부터도 똑같은 이야기를 들었습니다. 업무량 패턴이 가변적인 팀에게 만료되지 않는 크레딧의 기대 가치는 양(+)의 값을 가집니다. 특히 다음 분기의 볼륨을 예측할 수 없는 스타트업에게는 사실상 필수적입니다.

오늘날 제가 창업자에게 실제로 해줄 조언

만약 당신이 스타트업에 있다면: 직접 제공업체에 대한 환상을 버리십시오. 원가(raw pricing)에서 아끼는 $0.01/M는 여러 제공업체에 가입해야 하는 번거로움, 다중 통화 결제, 그리고 단일 지역 제공업체에 장애가 발생했을 때 새벽 3시에 울리는 페이저 (Pager) 알람의 마찰 비용 앞에서 증발해 버립니다. Global API의 스탠다드 티어 (Standard tier)를 사용하고, 스마트하게 라우팅(routing)하며, 가동 시간 (Uptime) 측정 결과가 (희망 사항이 아닌) 요구할 때만 프로 채널 (Pro Channel)을 다시 검토하십시오.

만약 당신이 엔터프라이즈 (Enterprise)에 있다면: 문제는 SLA가 필요한지 여부가 아닙니다. SLA가 필요했다는 사실을 뒤늦게 깨달을 여유가 있느냐의 문제입니다. 현재의 가동 시간을 정직하게 측정하십시오. 만약 99.5% 미만이라면, 전용 용량 (Dedicated capacity) 절감 비용을 계산하기 전이라도, 사고 대응 (Incident-response) 시간에 드는 비용만으로도 프로 채널 계약 비용은 충분히 회수될 것입니다.

만약 당신이 그 중간 어디쯤에 있다면: 제가 실제로 배포할 방식은 위에서 언급한 하이브리드 패턴입니다. 비용 최적화된 기본 라우팅, 어려운 문제에 대한 프리미엄 에스컬레이션 (Escalation), 그리고 향후 어떤 벤더 (Vendor) 결정에도 살아남을 수 있는 단일 통합 인터페이스를 구축하는 것입니다.

저는 Global API와 재정적 관계가 없습니다. 이 글을 통해 돈을 받는 것도 아닙니다. 하지만 저는 그들이 실제 시장 구조의 문제, 즉 대형 고객을 제외한 모든 이들에게 운영상의 저항을 만드는 제공업체 간의 파편화 (Fragmentation) 문제를 해결하고 있다고 생각합니다. 만약 당신이 이러한 트레이드오프 (Trade-off)와 씨름하고 있다면