저는 Series A 스타트업에서 소규모 플랫폼 팀을 운영하고 있습니다. 저희는 하루에 약 3,000만 개의 LLM 토큰을 처리합니다. 인보이스의 모든 항목은 제가 CFO에게 방어해야 하는 대상입니다. 몇 달 전, 저는 왜 우리의 OpenAI 비용이 매출보다 더 빠르게 증가하는지 설명하는 것에 지쳐서, 프로덕션 환경에서 중국 모델들을 테스트하기 시작했습니다. 제가 발견한 사실은 벤더 선정(vendor selection)에 대한 제 생각을 완전히 바꾸어 놓았습니다.

경종을 울린 사건: 뼈아픈 CFO와의 대화

평범한 화요일이었습니다. 저희 CFO는 API 대시보드를 띄워놓고, CFO들이 실제로 화가 났을 때 사용하는 그 매우 차분한 목소리로, 왜 우리의 토큰 지출이 두 달 만에 세 배로 늘었는지 물었습니다. 타당한 질문이었습니다. 저희는 요약 파이프라인(summarization pipeline)에는 대부분의 트래픽을 GPT-4o로 라우팅하고 있었고, 더 미묘한 추론 흐름(reasoning flows)에는 Claude 3.5 Sonnet을 사용하고 있었습니다. 둘 다 훌륭한 모델입니다. 하지만 둘 다 명품처럼 가격이 책정되어 있었습니다.

제가 동양을 바라보게 만든 계산식은 다음과 같습니다. 저희의 처리량(volume) 기준으로, GPT-4o ($10.00/M output)를 DeepSeek V4 Flash ($0.25/M output)로 교체하는 것은 동일한 워크로드에서 40배의 비용 절감을 의미했습니다. 오타가 아닙니다. 40배입니다. GPT-4o-mini ($0.60/M output)와 비교해도 DeepSeek V4 Flash는 2.4배 더 저렴했습니다. 그리고 Claude 3.5 Sonnet ($15.00/M output)과 Kimi K2.5 ($3.00/M output)를 비교했을 때, 그 격차는 5배였습니다.

솔직히 말씀드리면, 저는 품질 격차가 비용을 정당화할 것이라고 예상했습니다. 6주 동안 벤치마크(benchmarks)와 라이브 트래픽 테스트를 실행한 결과, 정말 그런지는 확신할 수 없습니다.

벤치마크: 숫자는 거짓말을 하지 않는다 (하지만 모든 것을 말해주지도 않는다)

프로덕션 환경에서 무엇인가를 변경하기 전에, 저는 표준 테스트 세트를 실행했습니다. MMLU 스타일의 추론, 코드를 위한 HumanEval, 그리고 중국어 작업을 위한 C-Eval입니다. 커뮤니티 평균값이지만, 결정을 내리기에 충분히 일관성이 있었습니다.

일반 추론 점수 (MMLU 스타일):

GPT-4o는 88.7을 기록했습니다. Claude 3.5 Sonnet은 미국 그룹에서 89.0으로 정상을 차지했습니다. 중국 측에서는 Qwen3.5-397B가 87.5, Kimi K2.5가 87.0, GLM-5가 86.0, 그리고 DeepSeek V4 Flash가 85.5를 기록했습니다. 이는 최고의 미국 모델과 중국의 베이스라인(baseline) 사이에 3~4점의 격차가 있음을 보여줍니다. 실제 프로덕션 워크로드(production workload) 환경에서 그 차이는 대개 노이즈(noise) 수준에 불과합니다.

코드 생성 (HumanEval):

DeepSeek V4 Flash는 92.0점을 기록했습니다. Qwen3-Coder-30B는 91.5점을 기록했습니다. GPT-4o는 92.5점을 달성했습니다. Claude 3.5 Sonnet이 93.0점으로 앞서 나갔습니다. DeepSeek Coder는 91.0점이었습니다. 특히 코드 분야에서 중국 모델들은 단순히 "거의 비슷한 수준"이 아닙니다. 그들은 명확하게 경쟁력이 있습니다. 출력 100만 토큰당 0.25달러인 DeepSeek V4 Flash는 동일한 벤치마크에서 출력 100만 토큰당 10.00달러인 GPT-4o와 대등하거나 오히려 앞서고 있습니다. 이것이 핵심입니다.

중국어 이해 (C-Eval):

GLM-5가 91.0으로 앞섰고, Kimi K2.5가 90.5, Qwen3-32B가 89.0, GPT-4o가 88.5, DeepSeek V4 Flash가 88.0을 기록했습니다. 만약 중국어 트래픽을 처리한다면, 중국 모델들이 단순히 더 뛰어납니다. 이는 미국 팀들이 때때로 가정하는 것보다 더 중요한 문제입니다.

세 가지 카테고리 전체에 걸친 패턴은 다음과 같습니다: 가격은 더 이상 품질의 대리 지표(proxy)가 아닙니다. 시장이 성숙해졌습니다.

내가 주목하는 맞대결 (The Head-to-Heads I Care About)

모든 모델을 비교할 필요는 없습니다. 내가 실제로 선택할 모델들을 비교해야 합니다. 다음은 우리에게 실제적인 결정을 이끌어낸 세 가지 맞대결입니다.

DeepSeek V4 Flash vs GPT-4o

V4 Flash의 비용은 입력 100만 토큰당 0.18달러, 출력 100만 토큰당 0.25달러입니다. GPT-4o의 비용은 입력 100만 토큰당 2.50달러, 출력 100만 토큰당 10.00달러입니다. 이는 출력 토큰에 대해 40배의 프리미엄(premium)이 붙는 것입니다. 우리의 요약(summarization) 워크로드의 경우, 이 프리미엄은 우리가 지출할 필요가 없었던 월 약 18,000달러의 비용으로 이어졌습니다.

V4 Flash는 실제로 더 빠르게 생성합니다. GPT-4o의 초당 50 토큰 대비 60 토큰을 생성합니다. 두 모델 모두 128K 컨텍스트 윈도우(context window)를 가집니다. GPT-4o는 비전(vision) 기능이 있지만, V4 Flash는 없습니다. 따라서 이미지 이해가 필요하다면 GPT-4o가 여전히 구조적 우위를 점합니다. 텍스트 전용 워크로드의 경우, V4 Flash는 매번 가치 측면에서 승리합니다. 엣지 케이스(edge cases)에서의 품질 격차는 존재하지만, 40배의 비용 차이를 고려하면 이를 보완하기 위해 작은 리랭커(reranker)를 작성할 용의가 있습니다.

Qwen3-32B vs GPT-4o-mini

이 부분은 OpenAI에게 거의 창피할 정도입니다. Qwen3-32B는 입력 1M(백만) 토큰당 $0.18, 출력 1M 토큰당 $0.28입니다. GPT-4o-mini는 입력 1M 토큰당 $0.15, 출력 1M 토큰당 $0.60입니다. 즉, Qwen이 출력 비용 면에서 2.4배 더 저렴하며, 우리가 테스트한 모든 품질 차원(일반 추론, 코드, 중국어)에서 Qwen3-32B가 더 뛰어났습니다. 더 빠르고, 더 저렴하며, 더 똑똑합니다. 기괴한 벤더 종속(vendor lock-in) 제약이 있지 않는 한, 2026년에는 Qwen3-32B 대신 GPT-4o-mini로 트래픽을 라우팅할 시나리오가 전혀 없습니다.

Kimi K2.5 vs Claude 3.5 Sonnet

Kimi K2.5는 입력 1M 토큰당 $0.59, 출력 1M 토큰당 $3.00입니다. Claude 3.5 Sonnet은 입력 1M 토큰당 $3.00, 출력 1M 토큰당 $15.00입니다. 이는 5배의 비용 차이입니다. 우리가 이전에 Claude에 의존했던 심층 추론(deep-reasoning) 워크로드의 경우, 이제는 Kimi K2.5를 1차 패스(first pass)로 사용하고 출력 신뢰도(output confidence)가 임계값 미만일 때만 Claude로 에스컬레이션(escalate)합니다. 이것만으로도 우리의 추론 계층(reasoning-tier) 비용을 약 60% 절감했습니다.

진짜 문제: 접근성 (Access)

여기서부터는 미국의 기술 언론(tech press) 중 누구도 말하고 싶어 하지 않는 부분입니다. 설령 당신이 중국 모델들이 충분히 훌륭하다고 확신하더라도, 그냥 가입해서 바로 사용할 수는 없습니다. 중국 제공업체들은 등록을 위해 중국 전화번호를 요구합니다. WeChat이나 Alipay를 통한 결제를 원합니다. 비용은 CNY(위안화)로 청구됩니다. 문서(documentation)는 대부분 중국어로 되어 있습니다. 고객 지원(support)도 중국어로 이루어집니다. 그들 중 몇몇은 접속 자체를 지리적으로 제한(geo-restrict)하기도 합니다.

이것이 바로 현재 미국 제공업체들이 가진 실제 해자(moat)입니다. 품질이 아닙니다. 가격도 아닙니다. 바로 편의성(convenience)입니다.

화요일 오후에 DeepSeek을 평가하려는 샌프란시스코의 스타트업 CTO에게 이러한 마찰(friction)은 계약 파기 사유(dealbreaker)가 됩니다. 저 또한 실행 가능한 경로를 찾기 전까지 두 번이나 막혔습니다.

결국 제가 사용하게 된 해결책은 중국 모델들에 대해 OpenAI와 호환되는 엔드포인트(endpoints)를 제공하는 라우팅 계층(routing layer)입니다. 저는 일반 신용카드로 USD(미국 달러)를 결제합니다. 영어로 된 문서를 제공받습니다. API 응답은 OpenAI에서 받는 것과 정확히 일치하므로, 기존 클라이언트 코드를 수정 없이 그대로 사용할 수 있습니다. 제공업체가 중국 측의 복잡한 접근 문제를 처리해주기 때문에 제가 직접 그럴 필요가 없습니다.

그렇게 해서 저는 DeepSeek V4 Flash, Qwen3-32B, GLM-5, 그리고 Kimi K2.5를 모두 동일한 엔드포인트 (endpoint) 패턴 뒤에 배치할 수 있었습니다. 전화번호도, VPN도, WeChat도 필요 없습니다.

코드: 실제 통합 방식은 다음과 같습니다

이 접근 방식이 저를 설득한 이유 중 하나는 제 코드가 거의 바뀌지 않았다는 점입니다. 예전에 OpenAI를 직접 호출했던 저희 요약 서비스 (summarization service)의 코드 스니펫 (snippet)을 소개합니다:

from openai import OpenAI

client = OpenAI(
...

그게 전부입니다. base_url은 https://global-apis.com/v1이며, 나머지는 모두 표준 OpenAI Python SDK를 사용합니다. 저는 기존 OpenAI의 base URL에서 단 한 줄만 수정하여 모델 이름을 deepseek-v4-flash로 지정했을 뿐입니다. 동일한 처리량 (volume) 기준으로 저희 요약 파이프라인 (pipeline) 비용이 월 약 1,400달러에서 35달러로 급감했습니다. 출력 품질은 미세한 차이 내에서 동일하게 유지되었습니다.

코드 집약적인 워크로드 (workloads)의 경우, 동일한 엔드포인트를 통해 Qwen3-Coder-30B를 사용합니다:

def review_code(code: str, language: str) -> str:
    response = client.chat.completions.create(
        model="qwen3-coder-30b",
...

API 규약 (API contract)이 동일하기 때문에 모델 교체는 매우 간단합니다. 이것이 바로 빠르게 움직이려는 CTO (최고 기술 책임자)에게 핵심적인 요소입니다. 즉, 통합 코드를 다시 작성하지 않고도 프로덕션 (production) 환경에서 모델을 A/B 테스트할 수 있다는 점입니다.

현재 나의 스택 구조 (벤더 종속성 방지)

제가 강력하게 고수하는 원칙이 하나 있습니다. 특정 제공업체가 어떤 기능에 대한 유일한 경로가 되도록 두지 마십시오. 제가 결정한 라우팅 (routing) 방식은 다음과 같습니다.

대량 요약, 분류 (classification), 그리고 추출 (extraction) 작업: DeepSeek V4 Flash. 구조화된 출력 (structured output)에서 여전히 프로덕션 품질을 유지하면서 가장 저렴한 모델입니다. 출력 100만 토큰당 0.25달러의 비용으로, 재시도 (retries)를 아낌없이 수행할 수 있습니다.

코드 리뷰, 리팩토링 (refactoring), 그리고 코드 생성: Qwen3-Coder-30B. 출력 100만 토큰당 0.35달러에 HumanEval 점수 91.5를 기록합니다. 작업이 정말로 미묘한 경우가 아니라면, 더 이상 이 작업을 위해 Claude의 가격을 지불하지 않습니다.

추론 (reasoning) 중심의 흐름: Kimi K2.5를 우선 사용하고, 신뢰도가 낮은 출력에 대해서는 Claude 3.5 Sonnet을 폴백 (fallback)으로 사용합니다. K2.5는 출력 100만 토큰당 3.00달러에 MMLU 점수 87.0을 기록했으며, 이는 Claude와 비슷한 수준이면서 비용은 5배 더 저렴합니다.

중국어 트래픽의 경우: GLM-5. C-Eval 점수 91.0, 100만 토큰당 출력 비용 $1.92. 미국 진영의 어떤 모델도 이 측면에서는 근접하지 못합니다.

멀티모달 (Multimodal) 또는 비전 (Vision) 워크플로우의 경우: GPT-4o. 이는 미국 모델들이 여전히 명확한 구조적 우위를 점하고 있는 유일한 영역입니다. 비전 기능은 진정으로 유용하며, 대안 모델들은 더 약합니다.

CFO를 위한 ROI (투자 대비 수익) 이야기는 간단합니다. 비전 기능이 필요하지 않은 워크플로우에 대해 품질을 허용 가능한 범위 내로 유지하면서, 월간 API 비용을 약 72% 절감했습니다. 그 절감된 비용은 그대로 기업의 런웨이 (Runway)로 투입되었습니다.

여전히 미국 모델을 선택하는 경우

저는 극단주의자가 아닙니다. 여전히 OpenAI 또는 Anthropic을 찾는 워크플로우가 있습니다.

비전이 가장 명백한 사례입니다. 작업에 이미지가 포함된다면, GPT-4o는 제가 테스트한 것 중 가장 신뢰할 수 있는 선택지입니다. DeepSeek V4 Flash는 비전 기능이 아예 없습니다. 멀티모달 GLM-5는 괜찮은 수준이지만, 중국 이외 지역에서의 API 커버리지는 불안정합니다.

50만 토큰 이상의 계약서 분석과 같은 매우 긴 컨텍스트 추론 (Very long-context reasoning)은 여전히 Claude 또는 Gemini를 사용합니다. 중국 모델들이 이 분야에서 따라잡고는 있지만, 진정으로 긴 꼬리 (Long tail) 영역에서는 아직 신뢰하지 않습니다.

안전이 중요하거나 규제를 받는 모든 작업입니다. 모델의 출력이 의료 또는 법률적 결정을 내린다면, 미국 벤더들의 컴플라이언스 (Compliance) 태세, 감사 추적 (Audit trails), 그리고 계약적 보호 장치는 여전히 유의미하게 더 낫습니다. 5~40배의 비용 절감을 위해 아직은 그런 리스크를 감수할 의사가 없습니다.

스타트업 CTO의 관점은 이렇습니다: 작동하는 곳에서는 저렴한 모델을 사용하고, 중요한 곳에서는 비싼 모델을 사용하며, 저렴한 모델이 당신이 의존하는 유일한 모델이 되게 해서는 안 됩니다.

빠르게 좁혀지는 품질 격차

6개월 전이었다면 저는 미국 모델들이 확실히 앞서 있다고 말했을 것입니다. 하지만 오늘날 대부분의 텍스트 기반 작업에서 그 격차는 오차 범위 내에 있습니다. DeepSeek V4 Flash, Qwen3-32B, Kimi K2.5, GLM-5 — 이들은 단순히 "가격 대비 좋은" 모델이 아닙니다. 그냥 좋습니다. 마침표를 찍을 수 있을 만큼 좋습니다.

중국 생태계는 제가 예상했던 것보다 더 빠르게 반복 (Iterating)하고 있습니다. 몇 주마다 새로운 모델이 출시됩니다. 가격은 계속해서 낮아지고 있습니다. 반면, 미국 제공업체들은 매출 성장 차트에 매몰되어 가격 경쟁을 주저하고 있습니다.

이 지점에서 저는 약간 냉소적으로 변하게 됩니다. 미국 기술 매체들을 지배하고 있는 "AI 경쟁 (AI race)"이라는 프레임은 실제 일상에서 아무도 사용하지 않는 능력치들에 주로 초점이 맞춰져 있습니다. 제가 현장에서 목격하는 프로덕션 워크로드 (production workloads)의 90% — 요약 (summarization), 분류 (classification), 추출 (extraction), 코드 리뷰 (code review), 기본적인 추론 (basic reasoning), 번역 (translation) — 에 대해, 중국 모델들은 오늘날 충분히 훌륭한 성능을 보여줍니다. 그리고 그 비용은 미국 대안 모델들의 아주 일부분에 불과합니다.

저의 솔직한 권장 사항

만약 당신이 막대한 LLM 청구서를 마주하고 있는 스타트업의 CTO라면, 제가 했던 방식을 따르십시오. 가장 비용이 많이 드는 두 가지 워크로드를 선택하세요. 일주일 동안 하나는 DeepSeek V4 Flash를 통해, 다른 하나는 Qwen3-32B를 통해 라우팅 (route) 하십시오. 합성 벤치마크 (synthetic benchmarks)가 아닌, 실제 프로덕션 데이터 (production data)로 품질을 측정하십시오. 제가 대화하는 대부분의 팀은 결국 트래픽의 50-80%를 전환하게 됩니다.

핵심은 통합 (integration) 과정을 고통스럽지 않게 만드는 것입니다. 저는 다시는 이 문제를 겪지 않기 위해 한 번쯤 액세스(access)의 혼란을 직접 겪었습니다. 제가 사용하는 설정 — OpenAI 호환 엔드포인트 (OpenAI-compatible endpoints), USD 결제, 영어 문서, PayPal 및 카드 지원 — 은 Global API에서 제공됩니다. 중국 측의 마찰을 건너뛰고 당신의 워크로드에 모델들을 바로 테스트해보고 싶다면, 여기서 확인해 보세요.