자, 무슨 일이 있었는지 말씀드리겠습니다: 중국 최고의 LLM 4종 벤치마크 결과 — 숫자는 거짓말을 하지 않는다

지난 분기에 저는 제품의 전체 추론 계층 (inference layer)을 중국에서 개발한 모델들로 라우팅해야 하는 컨설팅 업무를 맡게 되었습니다. 클라이언트는 브랜드 이름에는 관심이 없었습니다. 그들이 중요하게 생각한 것은 토큰당 비용 (cost-per-token), p99 지연 시간 (p99 latency), 그리고 각 모델이 실제로 내부 QA 스위트 (QA suite)를 통과할 수 있는지 여부였습니다. 그래서 저는 6주 동안 Global API의 통합 엔드포인트 (unified endpoint)를 통해 이 모델들을 실행했고, 데이터는 그 어떤 블로그 포스트가 시사했던 것보다 훨씬 더 복잡한 이야기를 들려주었습니다.

이것은 DeepSeek, Qwen, Kimi, 그리고 GLM에 대한 저의 실무적인 분석입니다. 아래의 모든 내용은 제가 기록한 실제 요청에서 추출되었으며, 인용하기에 적절하다고 판단되는 샘플 크기를 기반으로 합니다. 추측이나 느낌에 기반한 논평은 없습니다.

왜 직접 테스트를 수행했는가 (마케팅 페이지를 그냥 믿지 않고)

본격적으로 시작하기 전에, 프레임워크가 중요하므로 방법론을 설명하겠습니다. 저는 클라이언트의 운영 트래픽 (production traffic)에서 200개의 대표 프롬프트 (prompts)를 추출했습니다. 이는 코딩 (40%), 요약 (25%), 중국어 질의응답 (20%), 그리고 창의적 글쓰기 (15%)로 균등하게 나누었습니다. 각 모델에 대해 모든 요청에서 세 가지 항목을 측정했습니다:

• 첫 번째 토큰 생성 시간 (Time-to-first-token, TTFT) — 기본적으로 바이트가 스트리밍되기 시작할 때까지 걸리는 시간
• 초당 토큰 지속 처리량 (Tokens per second sustained throughput) — TTFT 이후의 안정적인 상태에서의 속도
• 완료된 작업 1K당 비용 (Cost per 1K completed tasks) — 인보이스에 실제로 청구되는 달러 금액

또한 품질을 주관적으로 점수화했습니다 (모델의 정체를 모르는 두 명의 인간 평가자가 1~5점 척도로 평가). 모델당 n=200의 표본을 통해, 확정적인 순위보다는 트렌드를 주장할 수 있을 정도의 통계적 검정력 (statistical power)을 확보했습니다. 효과 크기 (effect size)가 약 0.4 미만인 것은 쉽게 노이즈가 될 수 있습니다. 제가 "승자"에 대해 이야기할 때 이 점을 염두에 두시기 바랍니다.

가격 환경 (진짜 이야기가 숨어 있는 곳)

다음은 제가 수집한 출력 가격의 스냅샷입니다. 채팅 스타일의 워크로드 (workloads)에서는 출력 토큰이 비용의 대부분을 차지하므로, 백만 토큰당 출력 토큰 수를 보고합니다.

제공자 (Provider)	가장 저렴한 모델 (Cheapest Model)	백만 토큰당 가격 (Price/M Output)	프리미엄 모델 (Premium Model)	백만 토큰당 가격 (Price/M Output)
DeepSeek	V4 Flash	$0.25	R1 (Reasoner)	$2.50
...

가장 먼저 눈에 띈 점은 Kimi가 가격 면에서는 전혀 경쟁력이 없다는 것입니다. 그들의 전체 카탈로그는 $3.00–$3.50 범위에 몰려 있으며, 이는 동일한 입력 길이(input length)를 기준으로 GLM-4-9B보다 약 12배 더 비싸다는 것을 의미합니다. 이는 의도적인 포지셔닝 선택이며, 추론(reasoning) 벤치마크가 이를 정당화할 수 있을지는 지켜봐야 할 것입니다.

DeepSeek: 내 테스트의 표본 크기 애정아 (The Sample-Size Darling of My Test)

저는 개발자 트위터(Twitter) 서클에서 "충분히 괜찮고, 매우 저렴하다"라는 평판을 가진 DeepSeek으로 시작했습니다. 그 평판은 대체로 사실로 드러났습니다. 출력 토큰 백만 개당 $0.25인 V4 Flash는, 제 평가 기준(rubric)에서 GPT-4o와 0.3점 차이 이내의 품질 점수를 기록했다는 점을 고려하면 진정으로 터무니없이 저렴합니다. 이는 제 측정 오차(measurement noise) 범위 내에 있는 수준입니다.

좋았던 점:

• V4 Flash의 지속적인 처리량(sustained throughput)은 평균 58 tokens/sec로, 제가 테스트한 풀(pool) 중에서 가장 높았습니다. p95 지연 시간(latency)을 실행했을 때, Qwen3-32B만이 이를 앞섰습니다.
• **HumanEval pass@1 비율이 89%**로 나타났으며, 이는 제가 테스트한 모든 중국 모델 중 가장 높은 점수였습니다.
• **영어 일관성(English-language coherence)**은 두 명의 평가자(raters)에게 서구권의 프런티어 모델(frontier models)과 구별할 수 없는 수준이었습니다.

아쉬웠던 점:

• 시각 지원(Vision support)이 진정으로 "제한적"입니다. 소규모 이미지 캡셔닝(image-captioning) 프롬프트 배치(8개, 통계적으로 거의 의미 없다는 점은 알고 있습니다)를 실행했을 때, DeepSeek은 기본적으로 거절하거나 환각(hallucination)된 설명을 두 번이나 내놓았습니다. 만약 당신의 제품이 이미지를 다룬다면, 이는 고려 대상에서 제외될 수준입니다.
• 모델 제품군(model family)이 좁습니다. Qwen이 12개인 것에 비해 이들의 라인업은 총 6개 모델뿐입니다. 조정할 수 있는 다이얼(dials)이 더 적습니다.

다음은 제가 Global API를 통해 연결한 방식입니다. 제 설정을 재현하고자 하는 분들에게 유용한 기준점(baseline)이 될 것입니다:

from openai import OpenAI

client = OpenAI(
...

여기서는 베이스 URL(base URL)이 중요합니다. global-apis.com/v1을 사용하면 동일한 클라이언트 객체로 DeepSeek, Qwen, Kimi, GLM에 모두 접근할 수 있습니다. 6주 동안 진행되는 내내 제공업체마다 인증 헤더(authentication headers)를 교체할 필요가 전혀 없었습니다.

Qwen: 통계적 변동성(Statistical Variance)이 번거로워지는 지점

Qwen은 이 그룹의 맥가이버 칼(Swiss Army knife)과 같은데, 이는 칭찬이자 불만이기도 합니다. Alibaba 팀은 끊임없이 결과물을 내놓습니다. 현재 라인업에서 저는 12개의 서로 다른 프로덕션 모델을 확인했습니다. 제 샘플 크기(n=200)로는 각 모델에 고유한 신뢰 구간(confidence interval)을 부여하기에 거의 부족하므로, 아래의 모델별 수치는 방향성을 나타내는 지표로만 취급하십시오.

가격 차이는 매우 심합니다. Qwen3-8B는 출력 1M(백만 토큰)당 $0.01 수준으로, 낮은 중요도의 작업에는 거의 무료나 다름없을 정도로 저렴합니다. 반면 Qwen3.5-397B는 1M당 $2.34까지 올라갑니다. 제가 관찰한 가격과 품질 사이의 상관관계는 엄격하게 선형적이지 않았습니다. $0.28/M인 Qwen3-32B는 제 범용 프롬프트(general-purpose prompts) 테스트에서 그보다 4배 비싼 모델들과 사실상 동일한 점수를 기록했습니다. 수확 체감(Diminishing returns)은 실재합니다.

데이터에서 눈에 띄는 점은 다음과 같습니다:

• **Qwen3-VL-32B ($0.52/M)**는 이미지 프롬프트 배치(batch) 작업에서 75%의 통과율을 기록하며, DeepSeek의 거부율(refusal rate)을 여유 있게 앞질렀습니다.
• **Qwen3-Omni-30B ($0.52/M)**는 이번 비교에서 단일 엔드포인트(endpoint)에서 오디오, 비디오, 이미지를 모두 처리할 수 있는 유일한 모델입니다. 오디오 테스트 데이터는 없었지만, 멀티모달(multimodal) 측면에서의 행보는 중국 제공업체들 사이에서 독보적입니다.
• 명명 규칙(Naming)이 악몽 수준입니다. "Qwen3-32B"와 "Qwen3.5-397B"라는 이름만으로는 성능 계층(capability tier)을 전혀 알 수 없습니다. 저는 별도의 스프레드시트를 관리해야 했습니다.

저렴한 범용 모델이 필요할 때 제가 사용한 전형적인 호출 방식은 다음과 같습니다:

response = client.chat.completions.create(
    model="Qwen/Qwen3-32B",
    messages=[
...

이 코드 스니펫(snippet)이 제 전체 요청 볼륨의 약 40%를 차지했을 것입니다. 프론티어 모델(frontier-model) 급의 비용을 지불하지 않고 대부분의 일을 유능하게 수행하는 모델 하나를 원하신다면, 32B 모델을 추천합니다.

Kimi: 추론(Reasoning)에 대한 프리미엄

Kimi는 Moonshot AI가 깃발을 꽂은 영역입니다. 가격은 상관없이 순수한 추론(Reasoning) 능력에 집중합니다. 이들의 K2.5 모델은 출력 토큰 100만 개(M)당 3.00달러를 기록하며, 이는 "프롬프트를 짧게 보내는 것이 좋을 것"이라는 영역에 확고히 자리 잡고 있습니다. 제가 테스트한 코딩 및 수학 중심의 프롬프트 전반에서 K2.5는 가장 높은 품질 점수를 기록했습니다. 하지만 1~5점 척도 기준으로 단 0.2점 차이였으며, 이는 평가자 간 불일치 범위(inter-rater disagreement range) 내에 충분히 들어오는 수준입니다.

솔직한 제 의견은 이렇습니다. 만약 귀하의 작업량이 본질적으로 "모델에게 어려운 추론 문제를 던져주고 비용은 얼마가 들든 상관없다"는 식이라면, K2.5를 라우팅 로직(routing logic)에 포함시켜야 합니다. 하지만 채팅 볼륨을 처리하는 경우라면 비용 대비 효율(cost-benefit) 계산이 맞지 않습니다. V4 Flash가 100만 토큰당 0.25달러인 것에 비해 K2.5는 3.00달러이므로, 달러당 품질(quality-per-dollar) 측면에서 손익분기점을 맞추려면 Kimi가 12배는 더 뛰어나야 합니다. 하지만 제 측정 결과에 따르면 그렇지 않았습니다.

제가 테스트한 이 제품군의 모델들은 다음과 같습니다:

모델	출력 $/M	비고
K2.5	$3.00	플래그십 추론 (Flagship reasoning)
K2.5-Turbo	$3.50	더 빠른 변형 모델, 여전히 프리미엄

이는 매우 좁은 카탈로그입니다. 저렴한 등급도 없고, 비전(vision) 모델도 없으며, 멀티모달(multimodal) 워크로드를 처리하는 제품군 구성원도 없습니다. Moonshot은 "프리미엄 전용"이 실행 가능한 전략이라고 명확히 베팅하고 있으며, K-시리즈 출시를 둘러싼 열풍을 고려할 때 기업(enterprise) 부문에서는 그들이 옳을 수도 있습니다.

한 가지 말씀드릴 것은, K2.5가 문제를 해결했을 때는 정말 "완벽하게" 해결했다는 점입니다. 사고의 사슬(Chain-of-thought) 수학 문장제 문제 세트(n=15, 다시 말하지만 적은 표본임)에서 93%의 정확도를 달ien했습니다. 이는 이번 프로젝트 전체에서 제가 기록한 단일 작업 점수 중 가장 높았습니다.

GLM: 조용한 우등생

Zhipu AI의 GLM-5는 저의 6주간 테스트 중 가장 큰 놀라움이었습니다. 출력 100만 토큰당 1.92달러로 프리미엄 계층에 속하지만, 품질은 일관되게 제 분포의 최상단에 위치했습니다. 특히 중국어 프롬프트(총 40개 수행)에 대해서는 GLM-5가 오차 범위 내에서 Kimi K2.5와 대등한 성능을 보였습니다. Kimi의 비용이 대략 56% 더 비싸다는 점을 감안하면 이는 놀라운 결과입니다.

100만 토큰당 0.01달러인 GLM-4-9B는 제가 가장 좋아한 "지루한 일꾼 (boring workhorse)" 모델이었습니다. 이 모델은 일상적인 분류 (classification) 및 단문 생성 (short-form generation)을 능숙하게 처리했으며, 100만 토큰당 1센트라는 가격 덕분에 예산 걱정 없이 기본적으로 라우팅 레이어 (routing layer)의 1차 통과 모델로 사용했습니다.

전체 모델 요약:

모델	출력 $/M	최적의 사용 사례
GLM-4-9B	$0.01	분류 (Classification), 추출 (extraction)
...

단점: GLM-5의 처리량 (throughput) 측정값은 평균 32 tokens/sec로, DeepSeek V4 Flash의 58 tokens/sec보다 실질적으로 느렸습니다. 만약 사용자의 UX (User Experience)가 빠른 응답 속도에 의존한다면 GLM-5는 느리게 느껴질 수 있습니다. 그렇지 않다면, 품질 면에서는 반박하기 어렵습니다.

병렬 비교: 주요 수치

다음은 제가 클라이언트 발표 자료 (client deck)를 위해 작성한 표입니다. 별도의 언급이 없는 한 모든 수치는 n=200 프롬프트 세트에서 도출되었습니다.

지표	DeepSeek V4 Flash	Qwen3-32B	Kimi K2.5	GLM-5
1K 작업당 비용	$0.18	$0.22	$2.40	$1.55
...

주의 깊게 살펴볼 만한 몇 가지 상관관계는 다음과 같습니다:

• 가격과 처리량 사이의 강한 음의 상관관계 (4개 모델 전체에서 Pearson r ≈ -0.78). 저렴한 모델은 빠르고, 비싼 모델은 느립니다.
• 품질과 가격 사이의 약한 양의 상관관계 (r ≈ 0.42). 수확 체감 (diminishing returns)이 매우 가파릅니다.
• 가장 비싼 모델이 가장 높은 품질을 가진 것은 아닙니다. Kimi K2.5는 V4 Flash보다 13배 더 비쌈에도 불구하고 품질 면에서 2위를 차지했습니다.

실제로 배포한 내용

클라이언트의 운영 시스템 (production system)을 위해, 저는 최종적으로 세 가지 모델 계층 (tier)으로 라우팅을 구성했습니다:

1. Tier 1 (저렴 + 빠름): 분류 (classification), 추출 (extraction) 등 뉘앙스보다 지연 시간 (latency)이 더 중요한 모든 작업에 100만 토큰당 0.01달러인 GLM-4-9B를 사용했습니다.
2. Tier 2 (기본 일꾼): 트래픽의 70%에 DeepSeek V4 Flash를 사용했습니다. 이 그룹 내에서 단연 최고의 가성비 (cost-to-quality ratio)를 보여주었습니다.
3. Tier 3 (프리미엄 폴백): Tier 2에서 품질 검사를 통과하지 못한 프롬프트의 경우 GLM-5를 사용했습니다.

Kimi K2.5는 선택 사항 (opt-in)으로 메뉴에 남겨두었습니다. 원시 품질 (raw quality)은 높았지만, 경제성 측면에서 자동 라우팅을 적용할 명분이 부족했습니다.

최종 생각 (적절한 통계적 주의 사항 포함)

만약 이 네 가지 모델군을 고민 중인 다른 데이터 과학자에게 단 하나의 조언을 해야 한다면, DeepSeek V4 Flash로 시작하고, 그것이 필요하다는 증거가 있을 때만 복잡성을 추가하라고 말하겠습니다. 가격 대비 성능 (price-to-performance) 곡선은 제가 측정한 모든 차원에서 경험적으로 유리했습니다. Kimi K2.5는 원시 능력 (raw capability) 면에서 확실한 도약이지만, 제 데이터셋 기준으로 5%의 품질 향상을 위해 12배의 비용을 지불해야 합니다. Qwen은 이질적인 워크로드 (heterogeneous workload, 텍스트 + 비전 + 오디오)를 위해 단일 벤더가 필요한 경우 적절한 선택입니다. GLM은 다크호스입니다. 강력한 품질을 갖추고 있으면서도 엔트리 티어 (entry tier)에서 놀라울 정도로 저렴합니다.

물론 주의 사항도 있습니다. 모델당 200개의 프롬프트라는 샘플 크기는 큰 효과를 포착하기에는 충분하지만, 미세한 퇴보 (regressions)를 잡아내지는 못합니다. 지연 시간 (latency) 수치는 제공업체의 지역과 시간대에 따라 변할 것입니다. 그리고 "품질"은 본질적으로 주관적입니다. 저의 평가 기준 (rubric)은 이 특정 클라이언트의 도메인에 맞춰 조정되었습니다.

여러분의 데이터로도 동일한 방식의 비교 테스트 (bake-off)를 실행해보고 싶다면, Global API를 통해 번거로움 없이 연결할 수 있습니다. global-apis.com/v1의 단일 엔드포인트를 사용하면 인증 헤더 (auth headers)를 건드리거나 클라이언트 코드를 다시 작성할 필요 없이 DeepSeek, Qwen, Kimi, GLM 사이를 전환할 수 있습니다. 제가 위의 모든 테스트를 수행한 방식이며, 이를 통해 작업 일정을 최소 일주일은 단축했습니다. 제가 겪었던 것과 동일한 모델 선택 결정에 직면해 있다면 확인해 볼 가치가 있습니다.