온라인 전체가 Kimi K3가 새로운 왕으로 등극했다고 떠들어대는 것 같지만, 오전 내내 연구해 본 결과 사람들이 찬양하는 방향이 완전히 틀렸다는 것을 발견했습니다. 제가 Kimi K3에 대해 가장 객관적이고 포괄적이며 심층적인 분석 요약을 해드리겠습니다.

Kimi K3가 출시된 지난 이틀 동안, 세상은 온통 이것이 Fable 5보다 더 강력한지, 무엇이 대단한 새로운 왕인지에 대해 비교하고 있습니다. 저는 의아합니다. 이게 비교할 가치가 있나요? 여러분은 정말 점수 조작 랭킹(benchmark leaderboard)을 믿으시나요?

⚠️ 이전 사례는 Qwen이었습니다. 출시될 때마다 영미권 트위터(X)의 수많은 블로거들이 찬양했지만, 결과적으로 실전 능력은 형편없었고 Doubao보다도 못했습니다. 🤣

이번 Kimi와 Fable 5의 비교 결과를 살펴보겠습니다: 35개 항목의 공유 평가에서 Fable 5가 22개 항목에서 승리했고, K3는 12개 항목에서 승리했습니다. 종합 지능 지수(comprehensive intelligence index)에서 K3는 4위, Fable 5는 1위입니다.

결론은 명확합니다. K3는 결코 만능인 새로운 왕이 아닙니다. 😂

하지만 더 중요한 것은 이 점수에 있는 것이 아니라, 다른 숫자에 있습니다.

Arena 프론트엔드/WebDev 인간 블라인드 테스트(human blind test) 투표에서 K3는 1위를 차지했습니다. 1679 Elo로, Fable 5의 1631을 앞섰고, GPT-5.6 Sol의 1618을 앞섰습니다. 7개 분야 중 6개 분야에서 승리하며, K2.6의 18위에서 뛰어올랐습니다.

인간 블라인드 테스트란 무엇을 의미할까요? 개발자가 화면 앞에 앉아 두 페이지를 보면서, 어느 쪽이 생성된 것인지 모르는 상태에서 K3가 생성한 것이 더 보기 좋고 사용하기 편하다고 선택하는 것을 의미합니다.

이것은 점수 조작이 아닙니다. 실제 사람이 실제 작업(real tasks) 속에서 투표한 결과입니다.

그리고 가격 책정을 보세요. 출력(output) 비용이 15입니다. Fable 5는 50입니다.

긴 문맥(long context) agentic coding은 높은 출력량을 요구하는 작업이며, 15는 딱 그 임계점을 넘어서는 가격입니다.

솔직히 말해서, K3가 하고 있는 일은 "Fable 5보다 더 만능이 되는 것"이 아닙니다.

프론트엔드와 터미널 에이전트(terminal agent) 영역에서는 세계적인 수준에 도달하고, 다른 영역에서는 뒤처지는 것을 받아들이는 전략입니다.

이것은 사실 게임의 규칙을 바꾼 것입니다.
과거의 추격의 정의가 "종합적인 벤치마크(benchmark)에서 SOTA(State-of-the-Art)에 근접하는 것"이었다면,

K3는 아예 이 게임을 하지 않습니다. K3는 세 가지 영역—프론트엔드 UI, 터미널 에이전트, 브라우징 에이전트(browsing agent)—을 선택한 뒤 모든 화력을 그곳에 집중했습니다. 그 결과, 이 영역들에서는 Fable 5가 자신을 추격하도록 만들었습니다.

이게 어떤 상황인지 아시겠습니까? 이것은 비대칭 경쟁(asymmetric competition)입니다! 🤣

종합적인 전장에서는 뒤처지는 것을 수용하고, 자신이 선택한 고가치 트랙(high-value track)에서 상대방이 자신을 따라오게 만드는 것, 저는 이것이야말로 K3가 진정으로 주목할 만한 지점이라고 생각합니다.

중국 모델이 마침내 따라잡았다고 말하지 마세요. 본질적으로는 "추격의 정의가 바뀐 것"입니다.

간과하기 쉬운 또 다른 신호가 있습니다. Arena 프론트엔드 순위가 K2.6의 18위에서 1위로 뛰어오른 것은 점수 그 자체보다 더 충격적인 도약입니다.

이것은 프론트엔드 개발자, 풀스택 프리랜서(full-stack freelancer), 웹 에이전시(Web agency)들이 Moonshot이 강하다고 말해서가 아니라, 인간 동료들이 생성된 페이지가 더 예쁘다고 투표했기 때문에 능동적으로 시도하게 만듭니다.

개발자가 기술을 선택할 때 가장 신뢰하는 신호가 바로 이것입니다.

물론 지금 당장 Kimi K3를 왕이라고 부르는 것은 다소 시기상조이며, 심지어 어리석은 일일 수도 있습니다.

왜냐하면 종합적인 능력 면에서는 Fable 5가 여전히 더 안정적이며, 심층 추론(deep reasoning), 시각적 다듬기(visual polish), 가장 어려운 종류의 지식 작업 과제에서는 K3가 아직 격차가 있기 때문입니다.

속도는 평범하고, 토큰(token) 소모량은 높으며, 초기 버전에는 엣지 버그(edge bug)가 있습니다. 데이터 프라이버시 조항도 주의해야 합니다. 공식적으로 입력 데이터가 학습에 사용될 수 있다고 밝히고 있습니다.

하지만 이러한 문제들이 K3가 한 가지 일을 제대로 해냈다는 사실을 방해하지는 않습니다. K3는 왕이 될 수 있는 좁은 트랙을 찾아냈고, '인간 블라인드 테스트 1위 + 가격 차이 + 곧 진행될 오픈 소스화'라는 세 가지 요소를 통해 이 트랙에서 자신이 진지하게 다뤄질 가치가 있음을 동시에 증명했습니다.

7월 27일 가중치(weights)가 공개된 이후, 커뮤니티는 Moonshot이 통제할 수 없는 세 가지 일을 할 것입니다: 독립적인 평가, 특이한 작업에 대한 미세 조정(fine-tune), 로컬 긴 문맥 처리량(local long context throughput) 실측.

이 결과들은 마케팅용 계정이 떠드는 것인지, 실제로 잘 만든 것인지를 빠르게 구분해 줄 것입니다.

하지만 그전에도 한 가지 사실은 분명해졌습니다. Kimi K3는 만능 챔피언이 되러 온 것이 아닙니다. 그것은 한 가지 사실을 증명하러 왔습니다.

앞으로의 AI 경쟁은 모든 차원에서 이길 필요가 없습니다. 자신이 선택한 곳에서만 이기면 충분합니다.

다른 곳에서 뒤처지는 것은 수용 가능합니다. 이 신호는 사실 2.8조 개의 파라미터(parameter)보다 훨씬 더 진지하게 살펴볼 가치가 있지 않나요?