Moonshot AI의 오픈 웨이트 (Open weights) 모델인 Kimi K3는 입력 토큰 백만 개당 $3, 출력 토큰 백만 개당 $15를 부과합니다. Stratechery가 비교 대상으로 삼은 Sol 모델의 $5 및 $30와 비교하면 저렴하게 들릴 수 있지만, 이 비교에는 함정이 숨어 있습니다. 오픈 웨이트는 **추론 비용 (Inference cost)**을 제거하는 것이 아니라, 모델을 학습시키는 비용만을 제거할 뿐입니다.

Ben Thompson은 2026년 7월 20일에 발표된 분석에서 이를 다음과 같이 설명합니다. Kimi K3에 대한 지난 주말의 논쟁은 서로 관련이 없는 두 가지 유형의 비용, 즉 R&D (고정적, 매몰 비용, 수익과 무관)와 COGS (변동적, 모델이 응답하는 각 쿼리에 연결됨)를 혼동했습니다. 이 두 개념을 분리하면 프로덕션 환경을 위한 AI 모델을 선택하는 방식이 달라집니다.

요약 (TL;DR)

• Kimi K3 (Moonshot AI)는 입력 토큰 백만 개당 $3, 출력 토큰 백만 개당 $15를 부과합니다.
• 분석에서 비교된 Sol 모델은 입력 백만 개당 $5, 출력 백만 개당 $30를 부과합니다.
• R&D는 고정 비용으로 수익에 의존하지 않지만, COGS (각 쿼리를 서빙하는 비용)는 사용량에 따라 확장됩니다.
• 오픈 웨이트는 모델 학습을 위한 R&D 비용은 절감하지만, 추론을 위한 COGS는 제거하지 못합니다.
• 추론 (Reasoning) 시대에는 Kimi가 동일한 답변을 내놓기 위해 Sol보다 더 많은 사고의 사슬 (Chain of thought) 토큰을 필요로 할 수 있습니다.
• Nvidia (Jensen Huang)는 자사의 GPU를 토큰 공장이라 부르지만, 토큰은 대체 가능한 단위가 아닙니다. 정답이야말로 대체 가능한 단위입니다.
• 지능의 COGS는 모델의 규모 (Footprint), 추론 효율성, 메모리, 그리고 서빙 (Serving)이라는 4가지 요소에 달려 있습니다.
• 이 분석은 Ben Thompson이 Stratechery에 2026년 7월 20일에 게시한 내용입니다.

무슨 일이 있었나

2026년 7월 18일과 19일 주말 동안, X(구 트위터)의 기술적 담론은 단 하나의 주제로 모였습니다. 바로 Moonshot AI의 새로운 오픈 웨이트 (Open Weights) 모델인 Kimi K3가 성능 면에서 최첨단 (State-of-the-art) 수준에 근접하고 있다는 점입니다. 많은 개발자들에게 이는 단순한 의미를 가졌습니다. 즉, 최고의 폐쇄형 (Closed) 모델만큼 뛰어난 성능을 가진 모델을 누구나 원하는 곳에서 다운로드하여 실행할 수 있다는 뜻입니다.

Stratechery의 Ben Thompson은 이러한 낙관적인 해석에 대해 불편한 논거로 응답했습니다. 오픈 웨이트에서 말하는 '무료'라는 단어는 연구 개발 (R&D)에 돈을 쓰지 않는다는 의미일 뿐입니다. 실제 사용자에게 모델을 서빙 (Serving)하는 비용, 즉 회계학에서 매출원가 (COGS)라고 부르는 비용에 대해서는 아무것도 말해주지 않습니다.

구체적인 예로 Kimi K3의 가격을 보면, 입력 토큰 백만 개당 $3, 출력 토큰 백만 개당 $15입니다. 이는 Sol의 $5 및 $30보다 저렴하지만, Thompson에 따르면 토큰당 가격만을 비교하는 것은 잘못된 지표입니다.

배경 및 역사

Thompson은 Kellogg School of Management의 모든 1학년 학생이 반드시 들어야 하는 입문 과목인 STRT-431의 첫날 에피소드로 글을 시작합니다. 그는 읽기 목록에 기술 기업이 하나도 없다는 사실에 주목했습니다. 교수는 이 코스의 목표가 특정 산업을 공부하는 것이 아니라, 어떤 업종의 어떤 기업에도 적용 가능한 보편적인 원칙을 찾는 것이라고 설명했습니다.

Thompson은 그 답변에 완전히 설득되지 않았습니다. 그에게 있어 배포의 한계 비용 (Marginal Cost)이 거의 제로에 가까운 소프트웨어의 특성은 기술을 근본적으로 다르게 만들었습니다. 이 관찰은 그의 집적 이론 (Theory of Aggregation)의 기초가 되었습니다. 즉, 한계 비용이 제로일 때 가치 사슬 (Value Chain)은 공급을 배포하는 자가 아니라 수요를 통제하는 자를 중심으로 중앙 집중화된다는 것입니다.

Thompson은 AI를 흥미롭게 만드는 점은 이러한 오래된 보편적 원칙들이 다시 돌아왔다는 것이라고 말합니다. 전통적인 소프트웨어는 한계 비용 (Marginal Cost)이 제로입니다. 앱의 복사본을 하나 더 배포하는 데는 비용이 들지 않습니다. 하지만 언어 모델 (Language Model)에서 추가 쿼리를 실행하는 것은 전기, GPU, 메모리 측면에서 분명히 비용이 발생합니다. 이것이 바로 20년 동안 닫혀 있던 질문들을 다시 열게 만드는 패러다임의 전환입니다.

모델이 오픈 소스(Open Source)인지 폐쇄형(Closed)인지에 관계없이, 생성된 각 토큰은 실제 GPU, 메모리 및 전기를 소비합니다.

기술적 세부 사항: 실제 추론 비용 (Inference Cost)

오픈 웨이트 (Open Weights) 모델에 대해 가장 흔한 오해는 이를 무료로 취급하는 것입니다. 실제로 절약하는 것은 R&D, 즉 모델을 나중에 얼마나 사용하느냐와 관계없이 발생하는 연구 개발 (Research and Development)에 대한 고정 투자 비용입니다. 모델을 훈련하는 데 100만 달러를 썼다면, 그 모델로 10만 달러의 수익을 내든 1억 달러의 수익을 내든 그 100만 달러는 이미 지출된 것입니다.

COGS (매출원가)는 다릅니다. 이는 사용량에 따라 규모가 커집니다. Thompson은 간단한 예를 듭니다. 만약 1달러의 수익을 창출하는 토큰을 생성하는 데 50센트가 든다면, 1억 달러의 수익은 5,000만 달러의 COGS를 의미하며, 10만 달러의 수익은 5만 달러의 COGS를 의미합니다. 비율은 동일하지만, 절대적인 비용은 처리하는 각 쿼리에 따라 증가합니다.

여기에서 두 번째 개념적 오류가 나타납니다. 바로 토큰을 상품(commodity)으로 취급하는 것입니다. 상품은 대체 가능(fungible)합니다. 석유 1갤런은 다른 1갤런과 동일합니다. 하지만 Kimi K3의 토큰 1개는 Sol의 토큰 1개와 동일하지 않습니다. 실제로 대체 가능한 것은 그 토큰들로 구축되는 것, 즉 지능, 다시 말해 '정답'입니다. 만약 두 모델이 동일한 정답에 도달한다면, 비록 한 모델이 다른 모델보다 세 배나 더 많은 토큰을 필요로 했더라도 그 정답은 대체 가능합니다.

💭 핵심: 토큰당 가격은 응답의 실제 비용을 측정하지 않습니다. 중요한 것은 각 모델이 정답에 도달하기 위해 얼마나 많은 토큰을 필요로 하는가이지, 개별 토큰의 가격이 아닙니다.

이는 특히 추론(reasoning)의 시대, 즉 사용자에게 토큰을 직접 전달하는 데 집중했던 초기 ChatGPT 이후의 AI 두 번째 단계에서 두드러집니다. 추론 모델은 최종 답변을 내놓기 전에 긴 사고의 사슬 (Chain of Thought)을 생성하며, 이 사슬은 모델마다 매우 다릅니다. Thompson에 따르면, Kimi는 동일한 답변에 도달하기 위해 Sol보다 훨씬 더 많은 토큰을 필요로 하는 것으로 알려져 있으며, 이는 토큰당 가격의 이점을 완전히 상쇄할 수 있습니다.

Thompson은 모델의 실제 추론 (inference) 비용을 결정하는 네 가지 요인을 식별합니다:

• 모델의 풋프린트 (Footprint): 가중치 (weights)와 런타임 상태 (runtime state)는 서비스 복제본(replica) 하나를 호스팅하는 데 얼마나 많은 고가 메모리와 가속기가 필요한지를 결정합니다.
• 추론 효율성 (Inference efficiency): Mixture-of-Experts (MoE)와 같은 아키텍처 결정은 생성되는 각 토큰당 필요한 연산량을 줄여줍니다.
• 메모리 효율성 (Memory efficiency): KV 캐시 (KV cache) 요구 사항을 줄이는 아키텍처 결정은 더 많은 요청을 동시에 처리하고 각 GPU를 더 잘 활용할 수 있게 합니다.
• 서빙 효율성 (Serving efficiency): 배치 (batching), 스케줄링 (scheduling), 프리픽스 캐싱 (prefix caching) 등 기타 추론 최적화 기술은 각 가속기의 활용도를 극대화합니다.

flowchart TD
A["토큰당 가격"] --> E["지능의 실제 COGS (매출원가)"]
B["모델의 Footprint (점유 공간)"] --> E
...

어떤 단일 모델도 네 가지 요소를 동시에 모두 이길 수는 없습니다. MoE (Mixture of Experts) 모델은 토큰당 연산량은 적을 수 있지만, 매 패스(pass)마다 일부 파라미터만 활성화하더라도 전체 파라미터를 로드해야 하므로 메모리 Footprint (점유 공간)가 더 클 수 있습니다. 단순히 리스트 가격(list price)만으로 두 모델을 비교하는 것은 이러한 메커니즘을 간과하는 것입니다.

테스트 방법: 직접 COGS를 측정해 보세요

Moonshot AI를 포함한 대부분의 모델 제공업체는 OpenAI 형식과 호환되는 API를 제공합니다. 이는 Windows, macOS 또는 Linux에서 도구를 변경하지 않고도 동일한 클라이언트로 실제 토큰 소비량을 측정할 수 있음을 의미합니다.

먼저, 세 가지 운영 체제 중 어느 곳이든 클라이언트를 설치하세요:

# Windows (PowerShell), macOS 및 Linux: 동일한 명령어
pip install openai

그 다음, 호환되는 엔드포인트(endpoint)에 테스트 쿼리를 보내고 응답의 usage 필드를 확인하세요. 그곳에 실제 소비된 토큰의 상세 내역이 있습니다:

import openai

client = openai.OpenAI(
...

이 스크립트는 Kimi K3의 공개 가격을 사용하여 단일 쿼리의 실제 비용을 계산합니다. 동일한 질문을 Sol 또는 백만 토큰당 자체 가격이 있는 다른 모델에 던져보면, 단순한 리스트 가격이 아닌 실제 COGS 비교 데이터를 얻을 수 있습니다.

💡 팁: 만약 사용 사례가 긴 추론(reasoning)을 포함한다면, 계산 시 사고의 사슬 (Chain of Thought) 토큰도 함께 합산하세요. 많은 제공업체가 이를 usage.reasoning_tokens 또는 유사한 필드에 별도로 보고하며, 이 수치가 보통 공개된 토큰당 가격을 넘어 추론 모델의 COGS를 부풀리는 원인이 됩니다.

측정이 제대로 되고 있는지 확인하려면, 단순히 "hello world" 수준이 아니라 실제 제품의 여러 실제 쿼리 비용을 합산한 뒤, 월말에 제공업체로부터 받는 청구서와 비교해 보세요. 만약 일치하지 않는다면, 시스템 토큰 (system tokens), 호출된 도구 토큰 (tool tokens) 또는 재시도 (retries)를 누락했을 가능성이 높습니다.

응답의 usage 필드는 실제 매출원가 (COGS)를 계산할 수 있는 유일하고 신뢰할 수 있는 출처입니다.

영향 및 분석

Nvidia의 CEO인 Jensen Huang은 자신의 회사가 구축하고 있는 것을 '토큰 공장 (token factories)'이라고 설명합니다. Nvidia의 관점에서는 이 비유가 타당합니다. 그들의 GPU는 모델에 구애받지 않으며(agnostic), 가능한 한 가장 빠르고 효율적인 방식으로 토큰을 생성합니다. 여기서 초당 토큰 수 (tokens per second), 첫 번째 토큰까지의 시간 (time to first token), 와트당 토큰 수 (tokens per watt), 토큰당 비용 (cost per token)과 같은 지표들이 도출되며, Huang은 이러한 지표들이 모든 인프라 결정의 기초가 된다고 제안합니다.

이러한 측정 방식은 토큰이 모델에서 최종 사용자에게 직접 전달되던 AI의 첫 번째 패러다임인 ChatGPT 시대에는 유효했습니다. 두 번째 패러다임인 추론 (reasoning) 시대는 이 지표를 복잡하게 만듭니다. 사고의 사슬 (Chain of Thought)은 토큰의 양을 급증시키며, 각 모델은 정답에 도달하기 위해 서로 다른 양의 토큰을 필요로 합니다. 에이전트 (agents)는 동일한 역학에 또 다른 층을 추가하는데, 일부 모델은 다단계 에이전트 워크플로우 (agentic workflows)를 실행할 때 다른 모델보다 더 효율적이기 때문입니다.

⚠️ 주의: 특정 작업에 얼마나 많은 토큰이 필요한지 측정하지 않고 토큰당 가장 저렴한 모델을 선택하는 것은, 목록 가격은 더 높지만 추론 토큰 (reasoning tokens) 측면에서 더 효율적인 모델을 사용하는 것보다 결국 더 많은 비용이 들 수 있습니다.

어떤 모델을 프로덕션에 배치할지 평가하는 팀에게 실질적인 결론은 백만 토큰당 가격이 단지 시작점에 불과하다는 것입니다. 측정해야 할 것은 완료된 작업당 **추론 비용 (inference cost)**입니다. 즉, 각 모델이 동일한 문제를 해결하기 위해 필요한 입력 (input), 출력 (output), 그리고 추론 (reasoning) 토큰의 양에 실제 가격을 곱한 값입니다. 목록 가격이 아니라 바로 이 수치가, 저렴한 오픈 모델이 토큰당 가격이 비싼 폐쇄형 모델보다 결과적으로 더 경제적인지를 결정합니다.

다음 단계

추론 (Inference) 비용이 훈련 (Training) 비용이 아닌 새로운 격전지가 된다면, 오픈 웨이트 (Open weights)를 공개하는 연구소들이 단순히 성능 벤치마크 (Benchmark)뿐만 아니라 추론 효율성 (Reasoning efficiency) 측면에서도 경쟁하기 시작할 것이라 예상할 수 있습니다. 동일한 성능 수준의 다른 모델보다 절반의 사고 사슬 (Chain of Thought) 토큰을 사용하여 문제를 해결하는 모델은, 토큰당 공시 가격이 더 높더라도 실질적인 매출원가 (COGS) 측면에서 우위를 점하게 됩니다.

이는 새로운 모델이 출시되었을 때 살펴봐야 할 기준도 변화시킴을 의미합니다. 벤치마크 점수 외에도, 자신의 사용 사례 (Use case)를 대표하는 작업에서 얼마나 많은 추론 토큰을 소비하는지 확인하는 것이 좋습니다. 왜냐하면 이 수치는 작업 유형에 따라 달라지며, 주요 벤치마크와 함께 항상 보고되는 것은 아니기 때문입니다.

직접 테스트해 보세요: 이전 섹션의 스크립트를 Kimi K3의 OpenAI 호환 API로 실행하여, 추론 쿼리의 실제 비용을 이 기사의 표에 있는 공시 가격과 비교해 보십시오.

📖 Telegram 요약: 요약 보기

자주 묻는 질문 (FAQ)

Kimi K3란 무엇인가요?

Kimi K3는 Moonshot AI의 최신 오픈 웨이트 (Open weights) 모델입니다. Moonshot AI는 중국 기업으로, 자사의 어시스턴트를 work, code, claw 변형 모델로 나누어 제공합니다. 이 모델은 성능 면에서 최첨단 (State-of-the-art) 수준에 근접하며, 자체 인프라에서 다운로드하여 실행할 수 있습니다.

Kimi K3는 무료인가요?