Kimi K3는 제 기대치를 상당히 상회했지만, 압도적으로 뛰어나지는 않았습니다. 저는 전반적인 유용성/사용 용이성 면에서 Opus 4.8과 비슷하고, 전반적인 능력 면에서는 Opus 4.8보다 약간 높지만 (동시에 좀 더 벤치마크에 최적화되어 있지만) 추측해봅니다. 사전 학습 모델(pretrain)로서는 아마도 4.8과 Mythos 사이 어딘가일 것입니다 (중간쯤?). 이것은 Kimi가 전반적인 모델 강점/우수성(사용 용이성을 포함하여) 면에서 Anthropic보다 약 8개월 정도 뒤처져 있고, 전반적인 능력 면에서는 (Mythos Preview보다 약간 낮지만) 약 6개월 정도 뒤처져 있다는 것을 의미할 수 있습니다.
이 격차는 아마도 증류(distillation)(그리고 더 일반적으로 OpenAI/Anthropic 모델 사용)와 알고리즘 유출/확산으로 인해 줄어들 것이므로, 만약 미국이 완전히 중단하고 최근의 알고리즘들이 확산되지 않는다고 가정한다면, Kimi가 최고의 내부 (개발 단계 포함) Anthropic 모델과 완전히 따라잡는 데 약 10개월이 걸릴 수도 있다고 생각합니다. (저는 이 개념이 가설적일지라도 Anthropic/OpenAI가 Kimi에 비해 어느 위치에 있는지 측정하는 더 나은 방법이라고 생각합니다.) 그리고 만약 미국이 완전히 중단한다면, Kimi가 달리 진행했을 경우 1년 뒤 도달할 수준에 도달하는 데는 약 27개월이 걸릴 수도 있습니다 (즉, 추가적인 1년간의 발전으로).
여기서 제 견해는 벤치마크 성능이 전반적인 사용 용이성을 얼마나 대표하는지에 매우 민감합니다.
Kimi와 다른 회사들이 오픈 웨이트 모델 정책을 바꾸지 않는다고 가정한다면, 저는 이제 약 5개월 안에 'cyber'에서 명백히
- 실험 컴퓨팅(Experiment compute)보다 인력(labor)이 훨씬 더 중요하다는 점입니다 (그리고 Kimi의 인력은 경쟁력이 있어 보이며, 이는 매우 그럴듯합니다).
- 이는 AI가 AI R&D를 자동화하여 속도를 높이고, 소프트웨어만으로도 큰 지능 폭발을 일으킬 것이라는 것을 의미합니다.
- 혹은 Kimi가 단순히 미국 회사들보다 훨씬 잘하고 있어서, 실험 컴퓨팅의 불리함을 극복하고 있는 것일 수도 있습니다.
- 알고리즘이 매우/빠르게 확산되고 있습니다 (예: OpenAI에서 Kimi로).
- 성능(Perf)은 과대평가되었거나 벤치마크에만 의존하는 경우가 많습니다.
- AI 개발 과정에서 OpenAI나 Anthropic의 최첨단 AI를 증류(Distillation)하여 사용하는 것이 따라잡는 데 매우 도움이 됩니다. (하지만 Kimi K3는 증류가 도움을 주지 못하는 경쟁력 있는 사전 학습 모델일 것이라고 추측합니다?)
- 미국 회사들은 어떤 이유에서인지 최대 속도로 나아가고 있지 않습니다.