샌프란시스코의 모든 AI 연구소(Lab)를 겁먹게 할 통계

a16z의 Martin Casado가 The Economist에 이 내용을 던졌고, 답글 중 누구도 이를 부정하지 않았습니다:

특정 스타트업이 중국 모델을 사용하고 있을 확률은 80%에 달한다.

"실험 중"인 것이 아닙니다. "사용 중"인 것입니다. 실제 서비스(Production) 환경에서 말이죠. OpenAI와 Anthropic이 너무 많은 0이 붙은 액수로 다음 라운드 투자를 유치하느라 바쁜 동안, Moonshot, Alibaba, 그리고 Z.ai는 엔지니어들에게 더 나은 평가 점수(Eval score)보다 더 가치 있는 것, 즉 **허가(Permission)**를 제공했습니다.

이번 주 HN(Hacker News)은 몇 시간 간격으로 서로 관련된 두 개의 게시물을 메인 페이지에 올렸습니다. China's open-weights strategy is winning은 1,100개 이상의 포인트와 800개 이상의 댓글을 기록했고, Ben Thompson의 Who's afraid of Chinese models?가 그 뒤를 바짝 쫓았습니다. 이것은 단순한 소음이 아닙니다. 업계가 게임을 잘못 판단했음을 인정하고 있는 것입니다.

아무도 구축하지 않은 해자 (Moat)

미국 연구소들이 틀린 지점은 바로 이것입니다: 그들은 모델(Model) 자체를 제품으로 취급했습니다. API 뒤에 가두고, 호출 횟수(Rate-limit)를 제한하며, 평가를 통과하는 안전 검토(Safety reviews) 뒤에 숨기고, 그 특권을 누리기 위해 프리미엄 토큰(Tokens) 비용을 청구했습니다.

중국의 연구소들은 모델을 **미끼 상품 (Loss leader)**으로 취급했습니다. Thompson이 인용한 정책 연설에서 시진핑은 속마음을 공개적으로 드러냈습니다: "오픈 소스 (Open source), 개방성, 협업 및 공유"를 추진하십시오. 왜냐하면 진짜 보상은 디지털 챗봇이 아니라, AI가 "디지털 세계에서 물리적 세계로 이동하는 것"이기 때문입니다. 그리고 중국은 이미 그 가치를 포착할 수 있는 로보틱스(Robotics) 및 제조 스택(Manufacturing stack)을 보유하고 있습니다.

이것은 과거 Joel Spolsky의 전략을 그대로 따르는 것입니다: 보완재를 범용화하라 (Commoditize your complements). 만약 모델이 무료라면, 모델이 가능하게 하는 것들 — 하드웨어, 생태계 락인 (Ecosystem lock-in), 유통 — 이 실제 비즈니스가 됩니다. Meta는 Llama를 통해 국내에서 이를 시도했지만 대부분 맥락을 놓쳤습니다. Moonshot과 Alibaba는 그저... 프런티어(Frontier) 급의 품질로, 더 적은 비용으로, 이용 약관(ToS) 변호사의 개입 없이 해냈습니다.

아니요, 토큰이 실제로 더 저렴한 것은 아닙니다 — 세부 조항을 읽어보세요

모두가 좋아하는 게으른 논리는 "중국 모델이 더 저렴하므로, 경제성이 더 좋다"는 것입니다. Thompson의 반박은 전체 담론에서 가장 중요한 문단임에도 불구하고 거의 아무도 이를 반복하지 않고 있습니다:

Kimi K3: 입력 토큰 100만 개당 $3, 출력 토큰 100만 개당 $15
Sol (OpenAI의 새로운 플래그십): 입력 토큰 100만 개당 $5, 출력 토큰 100만 개당 $30

40~50% 할인된 것처럼 보입니다. 하지만 Kimi K3는 동일한 작업을 수행하기 위해 _현저히 더 많은 토큰(significantly more tokens)_을 소모합니다. 토큰은 범용 상품(commodity)이 아닙니다. 중요한 것은 달러당 지능(intelligence-per-dollar)이며, 어느 쪽도 자신들에게 유리하게 딱 떨어지는 비교 수치를 발표하지 않기 때문에 아무도 이 비교를 게시하지 않습니다. 만약 당신이 100만 토큰당 표시 가격(sticker price)을 기준으로 조달(procurement)을 하고 있다면, 당신은 잘못하고 있는 것입니다. 목록 가격(list price)이 아니라 작업 완료 비용(task completion cost)을 기준으로 벤치마크를 수행하십시오.

# 모두가 비교하는 것
cost_per_million_tokens(model_a) vs cost_per_million_tokens(model_b)

...

당신을 실제로 걱정시켜야 할 비대칭성: 증류 (distillation)

이 부분은 진정으로 과소평가되어 있습니다. 중국 연구소들은 이용 약관(ToS)을 크게 개의치 않고 프런티어 모델(frontier model)의 출력값, 즉 GPT와 Claude의 완료된 결과물들을 스크래핑하여 자신들의 체크포인트(checkpoint)로 증류(distilled)하는 방식으로 학습합니다. 서구의 오픈 웨이트 (open-weight) 플레이어들(Llama, Mistral 등)은 법무 부서의 지침에 따라 대부분 이러한 ToS 제한 사항을 준수합니다.

순효과: 한쪽은 다른 쪽의 R&D를 무료로 복리로 이용하고 있으며, 복리로 이용당하는 쪽은 정작 자신의 동맹국들에게 규칙을 강요하고 있는 셈입니다. 만약 당신이 지금 미국이나 EU에서 오픈 모델을 구축하고 있다면, 당신은 중국 경쟁사에게는 없는, 손이 뒤로 묶인 채로 게임을 하고 있는 것입니다.

지금보다 더 큰 이슈가 되어야 할 사이버 보안 이야기

Thompson의 글 속에 숨겨진, 그 어떤 벤치마크 차트보다 실제로 더 중요한 일화가 있습니다. 사고 대응 (incident response) 과정에서, Hugging Face의 자체 방어 인력들이 Z.ai의 중국산 오픈 모델인 GLM 5.2를 찾았다는 사실입니다. 이는 미국 모델의 가드레일 (guardrails) — (미국 프런티어 모델을 공격적/방어적 보안 작업에 사용하는 것에 대한 트럼프 행정부의 제한 조치로 인해 일부 포함된) — 이 방해가 되었기 때문입니다.

다시 한번 읽어보십시오. 지구상에서 가장 중요한 오픈 소스 AI 인프라 기업 중 하나를 방어하는 사람들이, 자신의 업무를 수행하기 위해 미국 모델을 우회해야만 했습니다. 미국 정책이 미국의 도구를 방어용으로 덜 유용하게 만들었기 때문입니다. 이것은 중국의 문제가 아닙니다. 이것은 자해 행위이며, 정당한 보안 작업을 위해 Sol/Fable에 대한 제한을 완화해야 한다는 Thompson 주장의 가장 강력한 근거입니다.

실제로 제품을 출시하고 있다면 이것이 의미하는 바

"어떤 파운데이션 모델 (foundation model)을 사용할 것인가"를 충성도 결정으로 취급하는 것을 멈추고, 다른 모든 벤더 선정과 마찬가지로 취급하기 시작하십시오:

• 허가 없는 미세 조정 (permissionless fine-tuning), 온프레미스 (on-prem) 배포가 필요하거나, 트래픽에 따라 증가하는 토큰당 비용 ($/token bill)을 피해야 한다면 — 연구소 홈페이지에 걸린 국기와 상관없이, 오픈 웨이트 (open weights)가 승리합니다. 결론은 명확합니다.
• Kimi K3와 Sol/Claude 사이의 표면적인 가격을 비교하고 있다면, 먼저 작업당 토큰 수 (tokens-per-task)를 기준으로 표준화하십시오. 헤드라인 가격은 마케팅일 뿐, 경제학이 아닙니다.
• 사고 대응 런북 (incident response runbook)이 LLM에 의존하고 있는데, 그 LLM이 다른 위협 모델 (threat model)을 위해 작성된 안전 정책 때문에 도움을 거부한다면 — 당신은 단일 장애점 (single point of failure)을 가진 것입니다. 그것이 정말 필요해지기 전, 즉 실제 상황 중이 아니라 사전에 테스트하십시오.
• 직접 오픈 모델을 구축하고 있다면, 당신이 자체 훈련 데이터 파이프라인 (training data pipeline)에 대해 제한이 더 적은 연구소들과 경쟁하고 있다는 사실을 인지하십시오. 그것은 공정하지 않으며, 앞으로도 공정해지지 않을 것입니다. 이를 고려하여 계획을 세우십시오.

미국의 AI 산업은 프론티어 가중치 (frontier weights)를 오픈 소스로 공개하는 것이 무모한 일인지에 대해 논쟁하며 3년을 보냈습니다. 반면 중국은 3년 동안 이를 배포하며 전 세계가 자신들을 위해 무료로 배포 네트워크를 구축하도록 방치했습니다. 이 두 가지 사실은 모두 진실일 수 있으며, 그중 오직 하나만이 스타트업의 80%가 당신의 모델을 실행하게 만드는 결과를 초래합니다.

출처: werd.io — China's open-weights AI strategy is winning, Stratechery — Who's afraid of Chinese models?