솔직히 말해서, 저는 한 달 동안 중국 AI API를 테스트해 보았습니다 — 실제 승자는 누구일까요?

보세요, 저는 그저 파산하지 않고 제품을 출시하려는 인디 해커(indie hacker)일 뿐입니다. 지난 한 달 동안 저는 가장 큰 네 가지 중국 AI 모델 제품군인 DeepSeek, Qwen, Kimi, 그리고 GLM을 제가 생각할 수 있는 모든 테스트를 통해 집요하게 실행해 왔습니다. 그리고 솔직히 말하자면? 제가 시작하기 전에 누군가 이런 분석 내용을 알려줬더라면 좋았을 것 같습니다.

그래서 제가 시도해 보았습니다. 기업용 미사여구나

$0.25/M인 V4 Flash는 진심으로 말도 안 되는 수준입니다. 콘텐츠 생성 기능을 위해 GPT-4o와 나란히 비교 테스트를 진행해 보았는데, 결과물이... 거의 동일했습니다? 아마 가격은 2.5% 수준이면서 품질은 95% 정도는 나오는 것 같습니다. 농담이 아닙니다.

저를 놀라게 한 점

코드 생성 (Code generation) 능력은 미쳤습니다. HumanEval 스타일의 테스트를 돌려보았는데 계속해서 최상위 점수를 기록했습니다. 말 그대로, 비싼 서구권 모델들과 진정으로 비교할 만한 수준입니다. 함수 작성, 디버깅 (debugging), 리팩토링 (refactoring) 같은 저의 실제 코딩 작업에서 V4 Flash는 저의 기본 모델 (go-to)이 되었습니다.

속도 또한 다른 강점입니다. V4 Flash는 초당 약 60 토큰 (tokens/sec)을 기록하는데, 덕분에 제 챗봇 기능들이 매우 빠릿하게 느껴집니다. 2025년에 답변을 받으려고 8초나 기다리고 싶어 하는 사람은 아무도 없습니다.

부족한 점

좋습니다, 모든 게 완벽하지만은 않습니다. DeepSeek의 시각 능력 (vision capabilities)은 상당히 제한적입니다. 이미지 이해 (image understanding)가 필요하다면 다른 모델을 찾아보세요. 또한, 순수 중국어 작업의 경우 GLM과 Kimi가 앞서는데, 이는 아마도 DeepSeek가 영어 우선 모델로 시작했기 때문일 것입니다.

그리고 모델 라인업이 더 적습니다. Qwen은 약 15개의 서로 다른 모델을 보유하고 있습니다. DeepSeek는... 선택지가 더 적습니다. 대부분의 사람들에게는 이것이 중요하지 않겠지만, 아주 특수한 (niche) 작업을 하고 있다면 제약을 느낄 수도 있습니다.

제가 실제로 매일 실행하는 코드

from openai import OpenAI

client = OpenAI(
...

이것은 말 그대로 제가 하루에 50번씩 사용하는 패턴입니다. 아주 훌륭하게 작동합니다.

Qwen: 맥가이버 칼 (The Swiss Army Knife)

DeepSeek가 메스라면, Qwen은 거대한 도구 상자 전체와 같습니다. Alibaba의 모델 제품군은 정말로 거대합니다. 상상할 수 있는 거의 모든 사용 사례 (use case)에 대응하는 Qwen이 있습니다.

모델 뷔페

라인업은 다음과 같습니다:

Qwen3-8B의 $0.01/M은 실제입니다. 간단한 분류 (classification) 작업을 위해 테스트해 보았는데 비용이 거의 들지 않았습니다. 요청당 단돈 몇 센트의 아주 작은 부분 수준입니다. 정말 놀랍습니다.

내가 계속 돌아오는 이유

모델의 다양성은 타의 추종을 불허합니다. 지난주 클라이언트 프로젝트를 위해 이미지 이해 (image understanding) 기능이 필요했는데, Qwen3-VL-32B가 이를 완벽하게 처리했습니다. 멀티모달 (multimodal) 작업 (오디오 + 비디오 + 텍스트)이 필요할 때는 Omni 모델이 바로 그 자리에 있었습니다.

게다가 Alibaba의 인프라 덕분에 이 모델들은 안정적입니다. 6주간의 테스트 기간 동안 Qwen 엔드포인트 (endpoint)가 다운되는 것을 한 번도 경험하지 못했습니다. 이는 대단한 일입니다.

짜증 나는 부분들

Qwen의 명명 규칙은 진심으로 혼란스럽습니다. 예를 들어, Qwen3-32B, Qwen3.5-397B, Qwen3-Omni-30B 같은 식인데, 기술적 지식이 없는 공동 창업자에게 이를 설명한다고 생각해보세요. 어떤 모델이 무엇을 하는지 기억하기 위해 별도의 스프레드시트를 만들어야 했습니다.

또한, 일부 가격 책정이 이상하게 느껴집니다. Qwen3.6-35B (또는 최신 미드 티어 모델)는 출력(output) 1M당 $1인데, 유사한 작업을 수행하는 DeepSeek V4 Flash의 $0.25/M과 비교하면 비싸게 느껴집니다.

순수 영어 작업의 경우, 제 테스트에서는 DeepSeek가 근소하게 앞섭니다. 차이가 아주 크지는 않지만, 일관적입니다.

나의 Qwen 빠른 테스트

response = client.chat.completions.create(
    model="Qwen/Qwen3-32B",
    messages=[{"role": "user", "content": "Write a Python function to merge two sorted lists"}]
...

솔직히 Qwen3-32B는 DeepSeek에 과부하가 걸렸을 때 제가 사용하는 두 번째 대안입니다.

Kimi: 똑똑한 녀석

좋습니다, Kimi는 이들 중 가장 비쌉니다. 하지만 그거 아세요? 특정 작업에 있어서는 그 돈을 지불할 가치가 충분합니다.

가격 현실 점검

네, 출력 1M당 $3.00~$3.50입니다. DeepSeek의 $0.25/M과 비교하면 말 그대로 12~14배 더 비쌉니다. 그런데 왜 사람들이 이를 사용할까요?

추론 (Reasoning) 능력은 진짜입니다

제가 작업 중인 튜터링 앱을 위해 다단계 논리 퍼즐 생성기를 만들었습니다. 여러 추론을 사슬처럼 엮어야 하며 흐름을 놓치지 않아야 하는 종류의 작업입니다. DeepSeek는 약 70%의 확률로 정답을 맞혔습니다. Kimi는요? 약 95%였습니다. 비교조차 되지 않습니다.

순수한 추론 (Reasoning) 벤치마크 측면에서 Kimi는 중국의 챔피언입니다. 수학, 논리, 다단계 추론 (Multi-hop reasoning), 또는 사고의 사슬 (Chain-of-thought) 작업이 포함된 무언가를 구축하고 있다면, Kimi가 여러분의 조력자가 될 것입니다.

또 다른 점은 — Kimi는 중국어에 있어서 괴물 같습니다. 말 그대로, 네 가지 모델 중 최고입니다. 만약 특별히 중국인 사용자를 대상으로 서비스를 구축하고 자연스러운 텍스트가 필요하다면, Kimi는 다른 모델들이 따라오지 못하는 미묘한 품질을 가지고 있습니다.

내가 매일 사용하지 않는 이유

그 가격 말입니다. SaaS를 운영할 때 100만 토큰당 $3.00는 금방 쌓입니다. 저는 말 그대로 그 추론 능력이 꼭 필요한 특정 작업에서만 Kimi를 실행합니다. 그 외의 모든 것은 DeepSeek나 Qwen을 통합니다.

또한, 속도가 네 가지 모델 중 가장 느립니다. 사용 불가능한 수준은 아니지만, 눈에 띄게 느립니다. 실시간 챗봇 기능을 구현할 때는 이 점이 중요합니다.

비전/멀티모달 (Vision/Multimodal) 기능도 없습니다. 따라서 이미지 관련 작업이 필요하다면 다른 모델을 찾아보세요.

GLM: 다국어 챔피언

Zhipu AI의 GLM 제품군은 솔직히 저에게 가장 큰 놀라움을 주었습니다. 저는

코드 생성 (Code generation)은 네 가지 모델 중 가장 취약합니다. 나쁘지는 않지만, 거의 완벽한 결과물을 내놓는 DeepSeek와 비교하면 GLM은 한 단계 뒤처지는 느낌입니다. 코딩 비중이 높은 제 작업에서는 이 점이 중요합니다.

또한 스트레스 테스트 (stress tests)를 진행했을 때 DeepSeek보다 일관성이 떨어졌습니다. 때때로 GLM-5는 정말 훌륭한 결과물을 주지만, 때로는 일반적이고 알맹이 없는 내용 (generic fluff)을 내놓기도 합니다. 예측하기 어렵습니다.

GLM 호출 예시

response = client.chat.completions.create(
    model="THUDM/glm-4-9b",
    messages=[{"role": "user", "content": "Translate this to Mandarin: 'How was your weekend?'"}]
...

한 달 후 나의 실제 워크플로우 (Workflow)

현재 제가 실제 운영 환경 (production)에서 사용하는 설정은 다음과 같습니다:

1. 기본 경로 (호출의 80%): DeepSeek V4 Flash. 비용은 거의 들지 않으면서 품질은 견고합니다.
2. 시각/이미지 작업 (Vision/image tasks): Qwen3-VL-32B 또는 GLM-4.6V. 그날 더 빠른 모델을 선택합니다.
3. 추론 중심 작업 (Reasoning-heavy stuff): Kimi K2.5. 비싸지만 적절한 작업에는 그만한 가치가 있습니다.
4. 초저가 분류 (Ultra-cheap classification): Qwen3-8B 또는 GLM-4-9B (100만 토큰당 $0.01). 사실상 무료입니다.
5. 폴백 (Fallback): DeepSeek의 속도 제한 (rate-limited)이 걸리거나 이상하게 작동할 때 Qwen3-32B를 사용합니다.

한 달 동안 제 월간 청구액은 GPT-4o 사용 시 400달러 이상이었으나, 지난달에는 약 35달러 정도로 줄었습니다. 그런데도 품질은 떨어지지 않았습니다. 솔직히 어떤 경우에는 호출 횟수를 아끼려 노력하는 대신 제 제품에 AI를 더 많이 사용할 수 있게 되었기 때문에 오히려 품질이 더 좋아지기도 했습니다.

과거의 나에게 해주고 싶은 말

시작하기 전에 알았더라면 좋았을 몇 가지 사항들입니다:

저가형 모델을 과소평가하지 마세요. 100만 토큰당 $0.01인 Qwen3-8B는 놀라울 정도로 많은 작업에서 진정으로 유용합니다. 저는 작은 모델들이 멍청할 것이라고 생각하며 무시했었습니다. 제 생각이 틀렸습니다.

추론 (Reasoning)에는 실제 비용이 따릅니다. 진정한 다단계 논리 (multi-step logic)가 필요한 무언가를 만들고 있다면, Kimi의 프리미엄 가격 책정은 합리적입니다. 그렇지 않다면 돈을 아끼세요.

영어 대 중국어의 차이는 생각보다 중요합니다. 영어 작업에는 DeepSeek를 선택합니다. 중국어에는 언제나 GLM입니다. 단순히 하나의 모델을 기본값으로 설정하지 마세요.

속도는 복리로 작용합니다. 초당 60 토큰 (tokens/sec) 모델과 초당 30 토큰 모델은 실제 제품에서 완전히 다르게 느껴집니다. 이를 과소평가하지 마세요.

통합 API (Unified API) 문제

잠시만요 — 저는 이 모든 것들을 Global API의 통합 엔드포인트 (unified endpoint)를 통해 테스트했습니다. 이것이 왜 중요할까요? 보통이라면 네 개의 서로 다른 API 키, 네 개의 서로 다른 SDK 설정, 네 개의 서로 다른 결제 관계가 필요하기 때문입니다. 정말 번거로운 일이죠.

Global API를 사용하면 코드에서 모델 이름만 바꾸면 끝납니다. 동일한 OpenAI 호환 인터페이스 (OpenAI-compatible interface), 동일한 인증 (auth), 그리고 하나의 청구서만 있으면 됩니다. 제가 모든 코드 예제에서 base_url="https://global-apis.com/v1"를 사용하는 이유가 바로 이것입니다. 진심으로 제 삶을 단순하게 만들어 주었습니다.

만약 당신이 여러 AI 제공업체를 조율하고 있는 인디 해커 (indie hacker)이거나 그럴 계획이라면, 저는 이렇게 말하고 싶습니다.