DeepSeek vs Qwen vs Kimi vs GLM: CTO를 위한 아키텍처 의사결정 가이드

3개월 전, 저는 우리 인프라 비용 청구서를 검토하다가 불편한 사실을 깨달았습니다. 우리는 지출을 정당화할 수 없는 워크로드(workloads)를 위해 단일 서구권 모델 제공업체에 분기당 6자릿수(six figures)의 비용을 태우고 있었습니다. 이것은 불평이 아니라 시장의 신호입니다. 중국의 AI 연구소들이 훨씬 적은 비용으로 강력한 대안들을 출시했으며, 이들을 무시하는 것은 직무 유기나 다름없었습니다.

그래서 저는 심층 분석에 들어갔습니다. 우리의 내부 도구, 코드 리뷰 어시스턴트(code-review assistants), 그리고 고객 대상 RAG 파이프라인(RAG pipelines)을 제가 구할 수 있는 모든 중국 모델 제품군을 통해 라우팅했습니다. DeepSeek, Qwen, Kimi, GLM까지 말이죠. 저는 벤치마크가 아니라, 우리의 CI 로그, 지연 시간 예산(latency budgets), 그리고 재무팀의 스프레드시트에서 어떤 모델이 실제로 프로덕션 환경에서 버텨내는지 확인하고 싶었습니다.

그 결과는 다음과 같습니다.

솔직한 결론부터 말씀드리자면

표로 여러분을 압도하기 전에, 한 분기 동안의 프로덕션 트래픽을 거친 후 제가 내린 결론은 다음과 같습니다:

• DeepSeek V4 Flash는 저의 기본 작업마(workhorse)입니다. 출력 토큰 100만 개당 0.25달러라는 가격에서 오는 비용 대비 품질(cost-to-quality ratio)은 말도 안 되는 수준입니다. 저는 계속 이 모델로 돌아오게 됩니다.
• Qwen3-32B는 수십 명의 서로 다른 벤더(vendors)와 협상할 필요 없이 비전(vision), 오디오(audio), 코드(code), 옴니모달(omnimodal)과 같은 유연성이 필요할 때 찾는 모델입니다.
• Kimi K2.5는 추론(reasoning) 집약적인 경로에서만 100만 토큰당 3.00달러의 가격표를 정당화합니다. 그 외의 경우에는 과다 지불을 하고 있는 셈입니다.
• GLM-5는 중국어 관련 작업에 대해 영구적인 자리를 확보했습니다. 중국 본토 사용자 층에게 고민 없이 배포할 수 있는 유일한 모델입니다.

네 가지 모델 모두 Global API의 통합된 OpenAI 호환 엔드포인트(OpenAI-compatible endpoint)를 통해 실행되므로, 네 개의 서로 다른 SDK 래퍼(SDK wrappers)를 작성하거나 네 세트의 자격 증명(credentials)을 관리할 필요가 없었습니다. 그 사실 하나만으로도 평가할 가치가 충분했습니다.

왜 이 네 가지인가, 그리고 왜 지금인가

저는 모델 팬덤(fanboyism)에는 관심이 없습니다. 저는 단위 경제성(unit economics)을 합리적으로 유지하면서 벤더 종속(vendor lock-in)을 피하는 데 관심이 있습니다. 중국은 각 모델이 서로 다른 부분을 최적화하도록 설계된 네 가지의 뚜렷한 모델 제품군을 출시했습니다:

• DeepSeek (幻方 / High-Flyer 개발)는 투명한 오픈 웨이트 (open-weight) 연구와 공격적인 가격 책정을 통해 명성을 쌓았습니다.
• Qwen은 Alibaba (阿里)에서 출시되었으며, 이는 기업급 인프라와 계획 가능한 출시 주기 (release cadence)를 의미합니다.
• Kimi는 Moonshot AI (月之暗面)의 모델로, 추론 (reasoning) 품질에 명운을 걸고 있습니다.
• GLM은 Zhipu AI (智谱)의 플래그십 모델로, 중국어 학습 데이터에 깊은 뿌리를 두고 있습니다.

가격 차이는 매우 극심합니다. Qwen3-8B와 GLM-4-9B는 모두 1M 토큰당 0.01달러 수준까지 내려갑니다. 반면 Kimi는 1M 토큰당 3.00달러 미만으로 내려가는 법이 없습니다. 이 격차는 각 연구소(lab)가 스스로를 어디에 포지셔닝하고 있는지를 명확히 보여줍니다.

내가 실제로 중요하게 생각하는 수치들

우리 팀이 구축한 매트릭스는 다음과 같습니다. 맥락 없는 별점은 신뢰하지 않지만, 이 표는 전반적인 상황을 파악하는 데 도움을 줍니다:

차원 (Dimension)	DeepSeek	Qwen	Kimi	GLM
개발사 (Developer)	DeepSeek (幻方)	Alibaba (阿里)	Moonshot AI (月之暗面)	Zhipu AI (智谱)
...

마지막 행이 도입 속도 측면에서 가장 중요한 부분입니다. 이 모델들은 모두 OpenAI와 동일한 API 방언 (dialect)을 사용합니다. 저는 단 한 번의 오후 만에 네 가지 모델을 모두 통합했습니다.

DeepSeek: 몇 가지 주의사항이 있는 나의 워크호스 (workhorse)

DeepSeek는 제가 가장 많은 트래픽을 라우팅하는 모델입니다. V4 Flash는 출력 토큰 1M당 0.25달러이며, 실제로 사용해 보면 비용의 극히 일부만으로 GPT-4o급 품질을 얻을 수 있습니다. 비용 대비 품질 (cost-per-quality)의 차이가 너무 커서, 처음에는 가격 설정 오류라고 생각하고 세 번이나 재확인해야 했습니다. 오류가 아니었습니다.

제 라우팅 설정 (routing config)에 유지하고 있는 전체 라인업은 다음과 같습니다:

모델 (Model)	출력 $/M	사용 시점
V4 Flash	$0.25	거의 모든 작업의 기본값
...

잘 작동하는 점

속도. 우리의 벤치마크에서 V4 Flash는 초당 약 60개의 토큰을 생성합니다. 채팅, 자동 완성, 앱 내 어시스턴트와 같은 대화형 UX 경로에서 이러한 지연 시간 (latency) 하한선은 제품을 쾌적하게 느끼게 만드는 핵심 요소입니다. 고객 지원 흐름에서 V4 Flash를 더 비싼 서구권 모델과 A/B 테스트했을 때, 완료 시간 (completion time)이 40% 감소했으며 아무도 모델 교체를 눈치채지 못했습니다.

코드 생성 (Code generation). DeepSeek는 HumanEval 및 MBPP 스타일의 벤치마크에서 지속적으로 최상위 성능을 보여주었으며, 당사의 내부 평가 스위트(eval suite)도 이를 확인했습니다. 코드 리뷰 봇, 리팩토링 작업, 테스트 생성 — 이 모든 것이 이곳으로 라우팅됩니다.

규모에 따른 가성비 (Price-to-performance at scale). 제가 이 모델을 신뢰하게 된 결정적인 이유입니다. 출력 100만 토큰당 약 $0.25의 비용으로, 사용자당 한 달에 커피 몇 잔 값만 들여 제품의 전체 기능을 DeepSeek로 실행할 수 있습니다. ROI(투자 대비 수익) 계산은 더 이상 논쟁의 대상이 아닙니다.

적합하지 않은 경우

시각 기능 (Vision)의 한계. 이미지 이해가 필요하다면 DeepSeek를 사용하지 않습니다. 이는 알려진 공백이며, 그들이 그렇지 않은 척하지도 않습니다.

중국어 성능은 좋지만 최고는 아님. GLM과 Kimi는 모두 중국어 벤치마크에서 DeepSeek를 근소하게 앞섭니다. 중국 본토를 대상으로 하는 사용자용 카피(copy)의 경우, 비용을 조금 더 지불하더라도 적절한 어조를 얻는 쪽을 택하겠습니다.

모델 다양성이 좁음. Qwen의 방대한 라인업과 비교했을 때, DeepSeek는 조절할 수 있는 옵션(knobs)이 적습니다. 이는 트레이드오프(tradeoff)입니다. 선택지가 적다는 것은 더 빠르게 움직일 수 있음을 의미하지만, 동시에 탈출구(escape hatches)도 적다는 뜻입니다.

다음은 통합 방식입니다. 작성하는 데 약 4분 정도 걸렸습니다:

from openai import OpenAI

client = OpenAI(
...

그게 전부입니다. 특정 벤더 전용 SDK도, 커스텀 재시도 로직(retry logic)도, 이상한 인증 흐름(auth flow)도 없습니다. OpenAI를 통합해 본 적이 있다면, 이미 어떻게 하는지 알고 있을 것입니다.

Qwen: 맥가이버 칼(Swiss Army knife)이 필요할 때

Qwen은 제가 아직 완전히 파악하지 못한 프로덕션 시스템에 투입할 만한 모델군입니다. Alibaba는 매우 다양한 모델 크기를 출시하기 때문에 거의 항상 요구 사항에 맞는 모델이 있으며, 기획자로서 약간 불안할 정도로 빠른 속도로 반복 개선(iteration)을 이어가고 있습니다.

제가 주로 사용하는 Qwen 모델들:

모델	출력 $/M	사용 사례
Qwen3-8B	$0.01	대량 분류, 아주 작은 작업, 비용 절감이 중요한 모든 작업
...

장점

범위 (Range). $0.01/M에서 $3.20/M까지, 어떤 가격대든 맞출 수 있습니다. 이는 계층형 제품(tiered product)을 구축할 때 중요합니다. Qwen3-8B로 무료 티어를 제공하고, Qwen3.5-397B로 프리미엄 티어를 제공할 수 있으며, 모든 단계에서 비용 구조가 투명합니다.

멀티모달 커버리지 (Multimodal coverage). Qwen3-VL은 이미지를 처리합니다. Qwen3-Omni는 단일 모델에서 오디오, 비디오, 이미지를 모두 처리합니다. 만약 사용자 업로드 파일을 "보는" 기능이 필요한 피처를 출시해야 한다면, 저는 보통 Qwen을 가장 먼저 살펴봅니다.

기업 신뢰도 (Enterprise credibility). Alibaba는 자금난으로 인해 사라질 스타트업이 아닙니다. 제가 조달 계약 (procurement contract)을 체결해야 한다면, 이는 실질적인 고려 요소입니다.

단점 (What doesn't)

네이밍이 엉망입니다. Qwen3, Qwen3.5, Qwen3.6과 함께 8B, 32B, 397B 같은 크기들이 모두 뒤섞여 있어, 저는 모니터에 포스트잇을 붙여놓고 확인합니다. 이러한 네이밍의 혼란은 단순히 짜증 나는 수준을 넘어, 모델 고정 (model-pinning) 결정을 더 어렵게 만듭니다.

영어 성능은 괜찮지만, 뛰어나지는 않습니다. 준수하지만, 영어 생성 능력 면에서 DeepSeek 수준은 아닙니다. 출력 결과가 미국 고객에게 전달되어야 한다면, 저는 보통 다른 모델로 경로를 지정합니다.

일부 가격 책정이 잘못된 방향으로 공격적입니다. Qwen3.6-35B의 출력당 $1/M 가격은 저를 망설이게 합니다. 해당 가격대에는 더 나은 옵션들이 존재합니다.

범용 작업에서 Qwen3-32B를 사용하는 방법은 다음과 같습니다:

response = client.chat.completions.create(
    model="Qwen/Qwen3-32B",
    messages=[
...

동일한 클라이언트, 동일한 인증 (auth), 다른 모델 문자열. 이것이 사고 모델 (mental model)의 전부입니다.

Kimi: 프리미엄을 지불하지만, 가끔만 사용합니다

Moonshot AI의 Kimi는 제가 복잡한 관계를 맺고 있는 모델입니다. 그들의 K2.5 모델은 전용 추론 모델 (dedicated reasoning models)을 제외하고 제가 테스트한 모델 중 진정으로 최고의 추론 능력을 보여주었습니다. 어려운 수학, 다단계 논리 (multi-hop logic), 그리고 사고의 사슬 (chain-of-thought) 작업에서 이 모델은 출력당 $3.00/M의 가격을 정당화합니다. 전체 가격대는 $3.00에서 $3.50/M 사이에 위치하며, 이는 명백한 프리미엄 영역입니다.

Kimi를 선택하는 경우

금융 모델링 지원, 여러 파일에 걸친 복잡한 코드 리팩토링 (code refactoring), 또는 환각 (hallucination)이 실제 비용을 초래하는 연구 합성 (research synthesis)과 같이 최상위 수준의 추론이 진정으로 필요한 워크플로우라면, 저는 Kimi를 선택합니다. 벤치마크 수치는 마케팅용이 아닙니다. 이 모델은 사고의 사슬 (chain-of-thought)의 깊이가 중요한 작업 유형에서 측정 가능한 수준으로 더 뛰어납니다.

모든 곳에 사용하지 않는 이유

대부분의 트래픽에 적용하기에는 수학적으로 맞지 않습니다. 1M 출력당 $3.00의 비용을 고려할 때, Kimi는 DeepSeek V4 Flash보다 12배 더 비쌉니다. 대부분의 사용자 프롬프트에 대해, 품질 차이는 최종 사용자에게는 보이지 않으며 우리의 평가 스위트 (eval suite)에서도 완전히 감지되지 않습니다. 구별할 수 없는 결과물을 얻기 위해 12배의 비용을 지불하는 것은 방어 가능한 엔지니어링 의사결정이 아닙니다.

또한 Kimi는 비전 (vision) 기능을 지원하지 않습니다. 만약 기능에 멀티모달 (multimodal) 지원이 필요하다면, Kimi는 고려 대상이 아닙니다.

저는 Kimi를 전문 계약업자처럼 취급합니다. 일상적인 트래픽을 Kimi로 라우팅하지 않습니다. 비용을 지불할 가치가 있을 만큼 작업이 충분히 어려울 때만 Kimi를 호출합니다.

GLM: 중국어 특화 전략

Zhipu AI의 GLM은 대상 독자가 중국 본토인 경우 제가 배포하는 모델입니다. 그것으로 끝입니다. 1M당 $1.92인 GLM-5는 프로덕션 품질 (production-quality)을 위한 선택이며, 1M당 $0.01인 GLM-4-9B는 대량의 중국어 분류 (classification) 또는 추출 (extraction) 작업을 위한 저예산 계층입니다.

중국어 작업에서 GLM의 우위는 실질적이며 측정 가능합니다. 훈련 데이터의 깊이는 어조, 관용구, 그리고 번역된 느낌이 아닌 모국어처럼 느껴지게 만드는 미묘한 부분에서 나타납니다. 만약 중국 본토 사용자들을 위한 고객 접점 서비스를 출시해야 한다면, 저는 DeepSeek의 결과물을 내보내며 아무도 눈치채지 않기를 바라는 것보다 GLM의 프리미엄을 지불하는 쪽을 택하겠습니다.

GLM-4.6V는 중국어 이미지 이해가 필요한 멀티모달 워크로드의 비전 작업을 처리합니다. 이는 틈새 시장이지만, 필요할 때 이를 대체할 만한 좋은 대안이 없습니다.

GLM-4-9B의 1M당 $0.01라는 가격 하한선 덕분에, 로그 분류, 감성 태깅 (sentiment tagging), 중국어 코퍼스 (corpora)에서의 개체명 추출 (entity extraction)과 같은 순수 중국어 대량 처리 작업에는 GLM이 저의 첫 번째 선택지가 됩니다. 고민 없이 수백만 개의 레코드에 대해 실행할 수 있을 만큼 충분히 저렴합니다.