Moonshot AI의 K3는 더 작고 학습 비용이 저렴하면서도 SWE-bench에서 89.2%를 기록하며 프론트엔드 코딩 분야에서 미국 모델들을 앞질렀습니다.

Moonshot AI의 Kimi K3는 더 작은 모델을 사용함에도 불구하고 프론트엔드 코딩 벤치마크에서 GPT-4o, Claude 3.5, Gemini 2.0을 추월했습니다. 이 Mixture-of-Experts (MoE) 모델은 GPT-4o의 82.1%, Claude 3.5 Sonnet의 84.7%와 비교하여 SWE-bench 프론트엔드 (Front-End) 서브셋에서 89.2%를 달성했습니다.

주요 사실

• K3는 SWE-bench 프론트엔드 (Front-End)에서 89.2%를 기록하며 GPT-4o를 7.1포인트 차이로 앞섰습니다.
• 모델은 토큰당 총 128B 파라미터 중 단 16B만을 활성화합니다.
• 4,096개의 H100 GPU를 사용하여 42일 동안 380만 달러의 학습 비용이 소요되었습니다.
• 프론트엔드 코딩에서 Claude 3.5, Gemini 2.0, GPT-4o를 능가합니다.
• 오픈 웨이트 (Open-weight) 출시가 계획되어 있으나 날짜는 발표되지 않았습니다.

Moonshot AI의 Kimi K3는 SWE-bench 프론트엔드 (Front-End) 서브셋에서 89.2%의 통과율을 달성하며 [ @SemiAnalysis_ 에 따르면 ] 프론트엔드 코딩 분야의 모든 미국 프론티어 (frontier) 모델을 뛰어넘었습니다. 이 결과는 GPT-4o (82.1%), Claude 3.5 Sonnet (84.7%), Gemini 2.0 Pro (81.3%)를 최소 4.5%포인트 차이로 앞서는 수치입니다. K3는 총 128B 파라미터를 가진 Mixture-of-Experts (MoE) 아키텍처로, 토큰당 약 16B만을 활성화합니다. 이는 GPT-4o의 추정 총 파라미터인 1.8T의 약 3분의 1 수준이며, Claude 3.5의 200B+ 총 파라미터의 절반 수준입니다.

이 모델은 4,096개의 NVIDIA H100 GPU를 사용하여 42일 동안 학습되었으며, [ @SemiAnalysis_ 에 따르면 ] 상업용 클라우드 요금 기준으로 약 380만 달러의 비용이 들었습니다. 이는 유사한 미국 모델들의 추정 학습 비용인 1,000만~2,000만 달러보다 현저히 저렴합니다. SWE-bench 프론트엔드 (Front-End) 서브셋은 React, Vue, 바닐라 자바스크립트 (vanilla JavaScript) 작업을 포함하여 UI 컴포넌트에 대한 자연어 설명을 통해 기능적인 코드를 생성하는 모델의 능력을 평가합니다.

효율성 격차가 중요한 이유

여기서 핵심은 파라미터당 성능 (performance-per-parameter) 비율입니다. K3는 GPT-4o 전체 파라미터의 약 10% 수준만으로 프론티어급 (frontier-level) 코딩 능력을 달성했습니다. 이는 Moonshot AI가 MoE 라우팅 (MoE routing) 및 데이터셋 큐레이션 (dataset curation)을 통해 미국 연구소들이 이 규모에서는 아직 따라잡지 못한 아키텍처 효율성을 찾아냈음을 시사합니다. 380만 달러의 훈련 비용은 일반적인 미국의 프론티어 모델보다 3~5배 저렴합니다 [per @SemiAnalysis_]. 만약 K3의 요청당 추론 비용 (inference cost per request) 또한 이와 유사하게 효율적이라면, 코딩 코파일럿 (coding copilot) 시장의 가격 역학을 재편할 수 있습니다.

벤치마크 및 한계점

K3는 일반적인 코딩 벤치마크에서도 경쟁력 있는 점수를 기록했습니다: HumanEval+에서 78.4% (GPT-4o: 80.2%), 전체 SWE-bench에서 72.1% (Claude 3.5: 76.6%)를 기록했습니다. 다만, 일반 지식 및 추론 작업에서는 GPT-4o의 92.3% 대비 MMLU-Pro에서 89.1%를 기록하며 약간 뒤처지는 모습을 보였는데, 이는 전문화에 따른 트레이드오프 (trade-off)를 시사합니다. Moonshot AI는 실시간 코딩 보조에 필수적인 추론 지연 시간 (inference latency)이나 요청당 비용을 공개하지 않았습니다. 이 회사는 모델 가중치 (model weights)를 공개할 것이라고 밝혔으나, 구체적인 날짜는 정해지지 않았습니다 [per @SemiAnalysis_].

주목해야 할 점

We're Making Kimi K2.5 Free For One Week

Moonshot AI가 K3의 요청당 추론 비용과 지연 시간 벤치마크를 공개하는지 지켜봐야 합니다. 만약 이들이 훈련 비용과 유사한 차이로 GPT-4o보다 낮은 비용을 제시한다면, 코딩 코파일럿들에 대한 가격 압박이 예상됩니다. 또한, SWE-bench 결과의 독립적인 재현을 가능하게 할 오픈 웨이트 (open-weight) 공개 날짜도 주목해야 합니다.

_ [2024년 7월 18일 업데이트, via the_decoder]_

Kimi K3는 2.8조 개의 파라미터 (parameters)와 100만 토큰 (token) 컨텍스트 윈도우 (context window)를 갖춘 멀티모달 (multimodal) 모델임이 확인되었습니다. 이는 이전에 보고된, 코딩에 특화된 더 좁은 범위의 버전이 가졌던 총 1,280억 개의 파라미터보다 훨씬 큰 규모입니다 [The Decoder 인용]. 전체 오픈 웨이트 (open weights)는 7월 27일까지 공개될 예정입니다 [Towards AI 인용]. Moonshot의 CEO는 단 300명의 팀이 이 모델을 구축했다고 밝혔으며, 이는 연산 효율성 (compute efficiency) 대 규모 (scale)에 대한 논쟁을 다시 불러일으켰습니다 [The Decoder 인용].

원문은 gentic.news에 처음 게시되었습니다.