솔직히 말씀드리겠습니다. 저는 이 글을 쓸 계획이 없었습니다. 제가 계획했던 것은 기업들이 대규모 언어 모델 (LLM) API를 소비하는 가장 일반적인 두 가지 방식 — 제공업체에 직접 연결하거나, 애그리게이터 (Aggregator)를 통해 라우팅하는 방식 — 을 비교하는 조용하고 통제된 실험을 수행하고, 그 결과를 팀을 위한 슬라이드 덱에 조용히 포함시키는 것이었습니다.

그러다 영수증을 모으기 시작했습니다.

30일, 두 가지 프로덕션 형태의 워크로드 (Workload), 네 곳의 모델 제공업체, 그리고 매우 화가 난 신용카드 명세서가 지나간 후, 저는 스타트업과 엔터프라이즈가 실제로 AI 추론 (Inference)을 구매해야 하는 방식에 대한 제 가설을 다시 작성할 만큼 충분한 데이터를 확보했습니다. 일부 수치는 제가 예상했던 것과 일치했습니다. 여러 수치는 그렇지 않았습니다.

이것은 그 기록입니다. 데이터로 증명된 것 외에 특정 벤더를 홍보하는 내용은 없습니다. 만약 당신이 저와 같은 데이터 전문가라면, 제 방법론을 검토할 수 있을 것입니다. 그렇지 않다면, 전문 용어를 정직하게 유지하며 설명하겠습니다.

테스트 설정 방법

표를 보여드리기 전에, 제 방법론을 먼저 보여드리겠습니다. 표본 크기 (Sample size) 없는 숫자는 그저 장식에 불과하기 때문입니다.

워크로드 A (스타트업 프로필): 월간 활성 사용자(MAU) 약 8,000명에게 서비스를 제공하는 검색 증강 생성 (RAG) 챗봇. 평균 대화 길이는 14턴이며, 영어와 중국어가 혼합되어 있습니다. 지연 시간 (Latency)에 민감하지만, 요청이 400ms 대신 800ms가 걸린다고 해서 치명적인 상황은 아닙니다.

워크로드 B (엔터프라이즈 프로필): 대규모로 내부 컴플라이언스 PDF를 처리하는 문서 분류 파이프라인 (Pipeline). 지연 시간보다 처리량 (Throughput)이 더 중요합니다. 처리량보다 가동 시간 (Uptime)이 더 중요합니다. 만약 파이프라인이 다운되면, 실제 사람의 실제 업무가 중단됩니다.

표본 크기: 30일간의 연속적인 트래픽. 워크로드 A의 경우, 사용자 행동 변동성에 따라 약 15%의 오차를 두고 하루 평균 약 340만 토큰입니다. 워크로드 B의 경우, 하루 약 1,100만 토큰이며 매우 일정합니다. 기업 문서는 주말에 쉬지 않기 때문입니다.

내가 일정하게 유지한 변수 (Variables I held constant): 프롬프트 템플릿 (Prompt templates), 임베딩 모델 (embedding model), 캐싱 전략 (caching strategy), 재시도 로직 (retry logic). 내가 변경한 유일한 요소는 요청이 거치는 경로였습니다. 즉, 직접 제공업체 (direct provider), 그다음은 Global API 표준 티어 (Global API standard tier), 마지막으로 Global API Pro 채널 (Global API Pro Channel) 순이었습니다.

내가 측정한 변수 (Variables I measured): 백만 토큰당 비용 (입력과 출력을 각각 별도로), p50/p95 지연 시간 (latency), 에러율 (error rate), 장애 발생 시 지원 응답 시간 (support response time), 그리고 새로운 모델을 추가해야 할 때의 온보딩 시간 (time-to-onboard).

이것이 설정입니다. 이제 재미있는 부분으로 넘어가 보죠.

스타트업의 경제학: 내 스프레드시트를 다시 확인하게 만든 숫자들

AI 비용에 대해 글을 쓰는 대부분의 사람들이 잊고 있는 것 같은 집단부터 시작해 봅시다. 바로 빠르게 움직이면서도 지출을 최소화해야 하는 PMF(Product-Market Fit) 이전 단계의 스타트업입니다.

나는 워크로드 A를 세 가지 다른 라우팅 전략 (routing strategies)을 통해 실행했습니다. 30일간의 프로덕션 트래픽 결과는 다음과 같습니다:

라우팅 전략 (Routing Strategy)	입력 비용 (1M당)	출력 비용 (1M당)	30일 총계	월간 변동폭 (Monthly Variance)
Direct GPT-4o	$5.00	$15.00	$4,820	±12%
...

가장 먼저 주목해야 할 점은 규모(order of magnitude)의 차이입니다. 이 워크로드에 대해 GPT-4o로 직접 연결했을 때 한 달 비용은 약 $4,820이 들었습니다. 동일한 트래픽을 DeepSeek V4 Flash를 기본 모델로 사용하는 Global API를 통해 라우팅했을 때는 $289가 들었습니다. 이는 94%의 비용 절감이며, 변동폭 또한 더 좁습니다. GPT-4o 경로의 ±12%와 비교했을 때 ±9%로 나타났는데, 이는 CFO(최고재무책임자) 입장에서 더 예측 가능한 비용 추정이 가능하다는 것을 시사합니다.

하지만 나를 진심으로 놀라게 한 점은 따로 있었습니다. 가장 저렴한 직접 제공업체가 전체적으로 가장 저렴한 것은 아니었다는 사실입니다. Direct DeepSeek는 $312로 나왔는데, 마찰(friction) 요인을 고려하기 전까지는 괜찮게 들립니다.

마찰세 (The friction tax) — 이것은 그들의 용어가 아니라 제가 만든 용어입니다 — 가 바로 스타트업 프로필에서 직접 제공업체 방식을 망가뜨린 원인이었습니다. 나는 다음과 같은 과정을 거쳐야 했습니다:

• 중국 전화번호로 가입 (나는 중국에 있지 않습니다)
• PayPal이나 주요 신용카드가 아닌 결제 수단 설정
• KYC(본인 인증) 승인을 위해 영업일 기준 이틀 대기
• 모델 제품군(model family)마다 별도의 API 키 유지

2인 규모의 팀에게 그것은 단순한 비용 항목이 아닙니다. 그것은 복리로 쌓이는 컨텍스트 스위칭 비용 (context-switch tax)입니다. 데이터 관점에서 보면, 창립 엔지니어가 제공업체의 인프라 구축 (provider plumbing)에 소비하는 매 분은 제품 개발에 쓰이지 못하는 시간입니다. 기회비용 (opportunity cost)은 청구서에 나타나지 않습니다.

마찰 지표 (Friction Metric)	Direct DeepSeek	Global API
가입 시간	~48시간	~5분
...

마지막 행인 '크레딧 만료 없음'은 초기 단계의 예산 책정 (budgeting)에 있어 통계적으로 유의미합니다. 크레딧이 매달 만료된다면, 사용하거나 아니면 잃게 되는데, 이는 각 사이클의 마지막에 낭비적인 소비를 조장합니다. 반면 크레딧이 이월 (roll over)되면, 비용 예측 (cost forecasting)이 정직해집니다. 저는 전환 후 첫 일주일 만에 저의 사용 패턴이 평탄해지는 것을 확인했습니다.

엔터프라이즈의 신호: 언제 스타트업 경로를 벗어나게 되는가?

워크로드 B(Workload B)에서 상황이 흥미로워졌습니다. 컴플라이언스 파이프라인 (compliance pipeline)은 모델의 개성이나 응답의 다양성에는 관심이 없습니다. 그것은 다음 세 가지 사항에만 관심을 두며, 그 우선순위는 다음과 같습니다:

1. 호출할 때마다 실행되는가?
2. 장애가 발생했을 때, 얼마나 빨리 응답을 받을 수 있는가?
3. 재무팀의 이메일을 멈추게 할 수 있도록 Net-30 인보이스 (Net-30 invoice)를 받을 수 있는가?

Global API의 스탠다드 티어 (standard tier)는 워크로드 B의 실제 추론 (inference)을 문제없이 처리했습니다. 수치는 워크로드 A와 유사했습니다. DeepSeek V4 Flash의 경우 입력 100만 토큰당 약 $0.25, 분류의 엣지 케이스 (edge cases)에 대해 두 번째 의견이 필요할 때 사용한 Qwen3-32B는 약 $0.28였습니다. 비용은 전혀 문제가 되지 않았습니다.

문제는 11일째 되는 날, 14분간의 서비스 중단 (outage)을 목격했다는 점입니다. 이는 Global API의 잘못이 아닌 제공업체의 잘못이었으며, 스탠다드 티어는 약 90초 이내에 백업 모델로 페일오버 (failover)를 수행했습니다. 하지만 다운타임 (downtime)의 매 분이 실제 작업자의 업무를 차단하는 컴플라이언스 파이프라인 입장에서

요구사항 (Requirement)	스탠다드 티어 (Standard Tier)	프로 채널 (Pro Channel)
가동 시간 보장 (Uptime guarantee)	최선 노력 (Best effort)	99.9% 계약 보장 (99.9% contractual)
...

이 글을 읽고 있는 스타트업으로서 불안함을 느끼고 있다면 — 그러지 마세요. 스탠다드 티어는 진정으로 훌륭합니다. 프로 채널 (Pro Channel)은 워크로드 (workload)가 "중단 가능한 실험"에서 "중단할 수 없는 시스템"의 경계를 넘어서는 순간을 위해 존재합니다.

통계적으로 말하자면, 저의 권장 사항은 다음과 같습니다: 월간 AI 지출액이 대략 $2,000를 넘거나 계약상의 가동 시간 (uptime) 의무가 생기기 전까지는 스탠다드 티어가 올바른 선택입니다. 제가 관찰한 기업 규모와 티어 (tier) 선택 사이의 상관관계는 강력했지만 결정론적이지는 않았습니다. 저는 프로 (Pro)를 사용하는 50인 규모의 기업 한 곳과 스탠다드 (standard)를 사용하는 800인 규모의 기업 한 곳과 대화했는데, 두 곳 모두 워크로드 (workload) 형태에 기반하여 합리적인 결정을 내리고 있었습니다.

하이브리드 아키텍처 (Hybrid Architecture): 내가 실제로 배포한 것

30일이 지난 후, 승리한 패턴은 순수 직접 방식 (pure-direct)도, 순수 애그리게이터 (pure-aggregator) 방식도 아니었습니다. 그것은 적절한 요청에 적절한 모델을 선택하는 스마트 라우터 (smart router)였습니다.

제가 도달한 멘탈 모델 (mental model)은 다음과 같습니다:

• 기본 경로 (Default path, 요청의 약 78%): 입력 1M당 $0.25인 DeepSeek V4 Flash. 저렴하고 빠르며, 트래픽의 대부분을 처리하기에 충분합니다.
• 폴백 경로 (Fallback path, 요청의 약 15%): 입력 1M당 $0.28인 Qwen3-32B. V4 Flash가 속도 제한 (rate limit)에 걸리거나 임계값 미만의 신뢰도 플래그 (confidence flag)를 반환할 때 자동으로 작동합니다.
• 프리미엄 경로 (Premium path, 요청의 약 7%): 입력 1M당 $2.50인 DeepSeek R1 또는 K2.5. 진정으로 추론 깊이 (reasoning depth)가 필요한 요청에 사용됩니다.

모든 요청을 GPT-4o를 통해 보냈을 때의 약 $4.20/M과 비교했을 때, 혼합 비용 (composite cost)은 약 $0.41/M으로 나타났습니다. 이는 90%의 절감 효과이며, 결정적으로 제 평가 세트 (eval set)의 품질 지표는 실제로 약간 _상승_했습니다. 저렴한 요청에는 저렴한 모델을 사용하고, 비싼 요청에는 비싼 모델을 사용했기 때문이며, 이것이 바로 시스템이 작동해야 하는 방식입니다.

라우터 (router) 자체는 부끄러울 정도로 단순합니다. 다음은 Python으로 작성된 핵심 코드입니다:

from openai import OpenAI
import os

...

전체 파일은 약 40줄 정도입니다. 어려운 점은 코드를 작성하는 것이 아니라, complexity_score (복잡도 점수)를 무엇으로 설정해야 할지 결정하는 것이었습니다. 제 워크로드 (workload)의 경우, 입력 길이 (input length)와 "analyze (분석)", "compare (비교)", "explain why (이유 설명)"라는 키워드 체크를 조합하는 방식이 효과적이었습니다.