더 나은 대규모 언어 모델 (LLM)을 구축하기 위한 경쟁은 멈추지 않고 있으며, 이번 주 Moonshot AI는 또 다른 주요 이정표인 Kimi K3를 선보였습니다.

언뜻 보기에 헤드라인은 충분히 인상적입니다. 100만 토큰 컨텍스트 윈도우 (Context Window)를 지원하는 2.8조 파라미터 오픈 전문가 혼합 (Mixture-of-Experts, MoE) 모델이라는 점 말이죠. 하지만 기술 논문을 읽어본 후 저에게 눈에 띈 것은 단순히 모델의 크기만이 아니었습니다. 그것은 모델 뒤에 숨겨진 엔지니어링이었습니다.

Moonshot AI는 단순히 파라미터를 확장하는 대신, 학습 효율성, 추론 속도, 그리고 롱 컨텍스트 (Long-context) 추론에 영향을 미치는 여러 실질적인 병목 현상을 해결하는 데 집중했습니다.

자세히 살펴보겠습니다.

1. Kimi Delta Attention

Kimi K3의 가장 큰 혁신 중 하나는 Kimi Delta Attention (KDA)입니다.

전통적인 어텐션 (Attention) 메커니즘은 컨텍스트 길이가 길어질수록 비용이 점점 더 많이 발생합니다. KDA는 극도로 긴 컨텍스트를 위해 특별히 설계된 하이브리드 선형 어텐션 (Hybrid Linear Attention) 접근 방식을 도입합니다.

Moonshot AI에 따르면, 100만 토큰 컨텍스트를 작업할 때 최대 6.3배 빠른 디코딩 (Decoding)을 제공할 수 있다고 합니다.

흥미로운 기술적 세부 사항은 KDA가 프리픽스 캐싱 (Prefix Caching)이 작동하는 방식을 변경한다는 점이며, 이로 인해 Moonshot AI는 vLLM의 업스트림 (Upstream)에 구현 사항을 기여해야 했습니다.

긴 문서, 코드베이스 또는 연구 데이터를 기반으로 애플리케이션을 구축하는 개발자들에게 이것은 모델에서 가장 실질적인 개선 사항 중 하나가 될 수 있습니다.

1. Attention Residuals

또 다른 혁신은 시퀀스 길이 대신 모델의 깊이에 초점을 맞춥니다.

모든 레이어를 동일하게 취급하는 대신, Attention Residuals는 네트워크의 서로 다른 레이어에 걸쳐 유용한 표현 (Representations)을 선택적으로 검색합니다.

이는 상당한 계산 오버헤드 (Computational Overhead)를 도입하지 않으면서 정보 흐름을 개선합니다.

보고된 결과는 인상적입니다:

약 25% 더 높은 학습 효율성
2% 미만의 추가 계산 비용

이는 단순히 더 많은 컴퓨팅 자원을 추가하는 대신 아키텍처를 통해 효율성을 개선한 영리한 사례입니다.

1. Stable LatentMoE

Mixture-of-Experts (MoE) 모델을 확장(Scaling)하는 것은 또 다른 과제인 '토큰을 올바른 전문가(Expert)에게 라우팅(Routing)하는 문제'를 야기합니다.

Kimi K3는 이를 Stable LatentMoE를 통해 해결합니다.

Moonshot AI는 휴리스틱(Heuristic) 균형 조정 기술에 의존하는 대신, 라우터 점수 분위수(Router-score quantiles)로부터 전문가를 직접 할당하는 분위수 균형 조정(Quantile Balancing) 방식을 도입했습니다.

그 결과, 민감한 하이퍼파라미터(Hyperparameter)가 더 적은 더 단순한 라우팅 메커니즘을 구현했으며, Kimi K2와 비교했을 때 약 2.5배 더 나은 확장 효율성(Scaling efficiency)을 달성했습니다.

벤치마크 성능

최고 수준의 추론 설정에서 Kimi K3는 강력한 벤치마크 결과를 보고했습니다:

• BrowseComp: 91.2
• Terminal Bench 2.1: 88.3
• Program Bench: 77.8

발표된 벤치마크에 따르면, Kimi K3는 발표된 35개 벤치마크 카테고리 중 6개에서 Fable 5 및 GPT-5.6 Sol을 능가합니다.

다만 FrontierSWE 및 HLE-Full과 같은 영역에서는 여전히 Fable 5에 뒤처지는데, 이는 워크로드(Workload)에 따라 여전히 개선의 여지가 있음을 시사합니다.

이것이 중요한 이유

가장 흥미로운 점은 단순히 Kimi K3가 또 하나의 강력한 언어 모델이라는 사실이 아닙니다.

오픈 모델(Open models)이 폐쇄형 시스템(Proprietary systems)과의 격차를 계속해서 좁혀가고 있다는 점입니다.

AI 애플리케이션이 챗봇을 넘어 소프트웨어 엔지니어링, 연구, 법률 분석, 기업용 검색, 자율 에이전트(Autonomous agents)로 확장됨에 따라 롱 컨텍스트(Long-context) 추론, 효율적인 추론(Inference), 그리고 더 나은 MoE 라우팅의 중요성이 점점 커지고 있습니다.

오픈 소스 AI 생태계의 경쟁은 가속화되고 있으며, 개발자들은 그 혜택을 누리고 있습니다.

Kimi K3는 혁신이 더 이상 단순히 파라미터 수를 늘리는 것에 그치지 않고, 대규모 모델을 더 실용적으로 사용할 수 있게 만드는 더 스마트한 아키텍처를 구축하는 것임을 보여주는 또 다른 강력한 사례입니다.

앞으로 몇 주 동안 커뮤니티가 실제 애플리케이션에서 이를 어떻게 벤치마크할지 기대됩니다.

Kimi K3에 대해 어떻게 생각하시나요? 오픈 모델이 예상보다 빠르게 따라잡고 있다고 생각하시나요?

AI 세계의 발전은 멈출 줄 모릅니다. 끊임없이 새로운 모델들이 등장하고 있으며, 각 모델은 이전의 한계들을 극복하려고 시도하고 있습니다. 그러한 흐름 속에서 Moonshot AI는 새로운 Kimi K3 모델을 선보였습니다.

첫눈에 가장 눈에 띄는 점은 그 거대한 규모입니다. 2.8조(2.8 trillion) 파라미터를 가진 오픈 Mixture-of-Experts (MoE) 모델로, 최대 100만(1 million) 토큰의 컨텍스트 (Context)를 지원합니다.

하지만 단순히 모델의 크기만이 핵심은 아닙니다. 그 이면에 숨겨진 아키텍처 (Architecture)와 엔지니어링 (Engineering) 혁신이 진정한 매력입니다.

Kimi K3가 가져온 새로운 혁신 요소들을 간략히 살펴보겠습니다.

1. Kimi Delta Attention

Kimi K3의 가장 중요한 혁신 중 하나는 Kimi Delta Attention (KDA)입니다.

기존의 어텐션 메커니즘 (Attention Mechanism)은 컨텍스트 (Context)가 길어질수록 처리 속도가 느려집니다. KDA는 하이브리드 선형 어텐션 (Hybrid Linear Attention) 방식을 사용하여, 긴 컨텍스트에서도 훨씬 더 효율적으로 작동할 수 있습니다.

Moonshot AI의 주장에 따르면, 이는 100만 토큰 컨텍스트에서 최대 6.3배 빠른 디코딩 (Decoding)이 가능합니다.

또 다른 주목할 만한 점은 Moonshot AI가 KDA를 위해 vLLM에 자체적인 구현 (Implementation)을 추가했다는 것입니다.

2. Attention Residuals

이 기술은 컨텍스트 (Context)의 길이 대신 모델의 깊이 (Depth)에 중점을 둡.

모든 레이어 (Layer)를 동일하게 사용하는 대신 필요한 레이어로부터 정보를 선택하여 정보 흐름을 더욱 효과적으로 만듭니다.

이를 통해 다음과 같은 성과를 거두었습니다—

• 약 25% 더 높은 학습 효율 (Training Efficiency)
• 2% 미만의 추가 연산 비용 (Computational Cost)

3. Stable LatentMoE

Mixture-of-Experts (MoE) 모델의 가장 큰 과제 중 하나는 정확한 전문가 (Expert) 선택입니다.

Kimi K3는 Stable LatentMoE와 분위수 균형 (Quantile Balancing) 기술을 사용하여 이 문제를 해결했습니다.

그 결과 라우팅 (Routing)이 더욱 효과적으로 이루어졌으며, Kimi K2와 비교하여 약 2.5배 더 나은 스케일링 효율 (Scaling Efficiency)을 달성할 수 있었습니다.

벤치마크 (Benchmark) 결과

Moonshot AI가 발표한 결과에 따르면, 최고 추론 모드 (Reasoning Mode)에서 Kimi K3는 다음과 같은 성적을 기록했습니다—

91.2 – BrowseComp
88.3 – Terminal Bench 2.1
77.8 – Program Bench

발표된 벤치마크 (Benchmark)의 35개 카테고리 중 6개 카테고리에서 Fable 5 및 GPT-5.6 Sol을 능가했습니다.

하지만 FrontierSWE 및 HLE-Full과 같은 일부 사례에서는 여전히 Fable 5가 앞서 있습니다.

이것이 왜 중요할까요?

저에게 가장 흥미로운 점은—AI가 이제 단순히 거대 모델을 만드는 경쟁에만 국한되지 않는다는 것입니다.

이제 핵심 경쟁은—

누가 더 효율적인 아키텍처 (Architecture)를 설계할 수 있는가?
누가 더 적은 컴퓨팅 리소스 (Computing Resource)를 사용하여 더 높은 성능을 낼 수 있는가?
누가 실생활의 문제들을 더 효과적으로 해결할 수 있는가?

Open AI 모델들은 매우 빠르게 발전하고 있으며, 이는 개발자, 연구자, 그리고 기업 모두에게 긍정적인 소식입니다.

여러분의 생각은 어떠신가요? Open AI 모델들이 매우 빠르게 Closed Model에 근접하고 있다고 생각하시나요?