지난주, Kibitz라는 이름의 익명의 미스터리 모델이 Chapot Arena에 무작위로 나타나 최전선 수준으로 공연했습니다. Kibitz는 체스 게임에서 뒤에 서서 상대방에게 퀸을 어떻게 실수하게 만들지 조언해주는 사람을 뜻하는 이디시어(Yiddish) 단어로, 솔직히 말해서 코딩 에이전트의 완벽한 비유입니다. 하지만 처음부터 누가 이 미스터리 모델 뒤에 있는지 알아차리기 쉬웠는데, 이 단어의 첫 두 글자가 결정적인 증거였기 때문입니다. 모두가 이것이 Kimmy라는 것을 알고 있었습니다. 그러다가 지난 금요일 Q에서 Moonshot은 Kimmy K3.1을 공개하며, 11월 4일에 완전히 다운로드할 수 있는 새로운 3조 개 매개변수 오픈웨이트 모델을 공식적으로 제공했습니다.
혹은 그렇게 말합니다. 그리고 AI 버블이 터지고 Trust Me Bro 벤치마크가 더 이상 좋아질 수 없을 것이라고 생각했을 때, Kimmy는 그것들을 더 좋게 만들었습니다. >> 저는 더 낮아질 수 있습니다. << 오늘 영상에서는 왜 Kimmy K3.1의 성능이 불가능해야 하는지 알아보고, 가장 중요한 유일한 벤치마크인 3JS를 이용해 3D 말을 만드는 것에 그 성능을 시험할 것입니다. 지금은 2026년 10월 26일이며, 여러분은 Code Report를 시청하고 있습니다. 올해 초에 Anthropic은 Kimmy의 개발사인 Moonshot AI가 Deep Seek나 Miniax 같은 다른 중국 회사들과 함께 Claude에게 대규모 증류 공격(distillation attacks)을 수행했다고 비난했습니다. 이는 가짜 사용자 무리를 보내 Claude의 출력 및 추론 토큰을 훔치고, 이 토큰들을 나중에 우리에게 무료로 제공하는 오픈 모델들을 훈련하는 데 사용될 수 있기 때문입니다.
저는 증류(distillation)가 기본적인 인권이라고 믿습니다. 왜냐하면 거대 AI 기업들이 문자 그대로 집단적인 인간의 두뇌를 추출했기 때문입니다. 우리의 인터넷 웹 블로그, GitHub, 과학 논문 등을 가져와서 심지어 허락도 없이 책들을 파괴적으로 스캔했습니다. 구글 프로젝트 파나마(Google Project Panama)만 봐도 알 수 있습니다. 하지만 OpenAI와 Anthropic은 제가 생각하는 것처럼 증류를 인권으로 여기지 않습니다. 그들에게 이것은 거대한 도용, 즉 '자동 완성 기능의 절도'입니다. 그리고 그들은 이를 막기 위해 수백만 달러를 투자했습니다. 불과 몇 주 전, Anthropic은 중국발(發) 증류 공격 중 90%에서 99%가 차단되었다며 증류 문제를 거의 해결했다고 말했습니다.
OpenAI 쪽에서는 자신들의 기술이 PewDiePie 같은 소규모 증류까지 막을 수 있음을 입증했습니다. 하지만 이것이 사실이라면, Kimmy의 성능을 가진 개방형 중국 모델은 존재할 수 없다는 의미입니다. 왜냐하면 오랫동안 거대 AI는 중국 모델들이 그렇게 빠르고 좋아진 이유가 거대 AI의 결과물을 훔치기 때문이라고 암시해 왔기 때문입니다. 하지만 Anthropic의 'Trust Me Bro' 증류 데이터를 신뢰할 수 있다면, 이는 Kimmy의 'Trust Me Bro' 벤치마크 역시 존재할 수 없다는 것을 의미합니다. 예를 들어, Kimmy K 3.1은 terminal bench 4.0에서 Opus 5.5와 단 1점 차이밖에 나지 않습니다.
정말 놀랍습니다. 그리고 다른 개방형 모델 중에서는 이 정도에 근접한 것이 없습니다. 게다가 인공 분석(artificial analysis)이 독립적으로 실행하여 67%라는 최고 점수를 얻었기 때문에, 우리는 실제로 이 수치를 신뢰할 수도 있습니다. 하지만 염두에 두어야 할 한 가지는 '하네스(harness)'가 큰 역할을 한다는 것입니다. 서로 다른 하네스로 여러 모델을 실행하면 벤치마크 결과에서 엄청난 차이가 발생합니다. 게다가 Kimmy는 다중 사용자 소프트웨어 요구 사항 테스트인 S. marathon에서도 승리했는데, 이는 AI의 도움 없이 인간이 완료하는 데 몇 주가 걸릴 만한 작업들입니다.
정말 인상적이지만, 코딩과 특히 사이버 보안 측면에서 큰 주의할 점이 하나 있습니다. Moonshot은 모델을 해킹에 있어서 피라시 소프트웨어보다 더 나쁘게 만들기 위해 의도적으로 훈련 데이터 세트에서 많은 사이버 보안 데이터를 제거했습니다. >> 나는 천재야, 친구. 그리고 그 방식이 효과를 발휘한 이유는 내부적으로 Moonshot에서 필터링되지 않은 체크포인트(unfiltered checkpoint)가 그들의 불법 익스플로잇 테스트 중 90.5%를 해결했기 때문입니다. 하지만 최종 출시 모델은 81%만 해결합니다. 그리고 이것은 그들 입장에서 영리한 비즈니스 움직임인데, 왜냐하면 불과 며칠 전 미국이 모든 연방 민간 기관을 포함하여 중국의 Deepseek 모델 사용을 금지했기 때문입니다.
그리고 그들은 OpenAAI와 Anthropic에게 거대한 승리를 안겨주고, 내부자들을 그들이 이미 가진 것보다 훨씬 더 믿을 수 없을 만큼 부유하게 만들 좋은 이유를 찾기를 좋아할 겁니다. 그래서 Moonshot은 해킹 능력을 무력화(lobotomize)하는 것 외에는 선택의 여지가 없습니다. 하지만 그럼에도 불구하고 Kimmy는 artificial analysis에서 발표된 모든 공개 모델들 중 새로운 사이버 지표에서 최고 성능을 보였습니다. 비록 그것이 주로 Claude와 GBT6가 안전상의 이유로 모든 프롬프트를 거부하며 그냥 패배했기 때문이지만 말입니다.
하지만 요즘 제가 정말 중요하게 생각하는 AI 능력은 3JS를 사용하여 사실적인 3D 말을 얼마나 잘 생성할 수 있느냐입니다. 그리고 그 기술을 객관적이고 과학적으로 분석하기 위해, 저는 공식적인 벤치마크를 사용합니다. 이것은 수천 시간의 연구 끝에 개발한 최첨단 평가 방식으로, 제가 thoroughbench라고 부릅니다. 작동 방식은 말 그대로 채팅창에 들어가서 '3JS로 사실적이고 인터랙티브한 3D 말을 생성해줘'라고 입력하고 엔터를 누르는 것입니다. 거기서부터 저는 제 머릿속에 있는 독점적인 손실 함수(proprietary loss function)를 기반으로 0점에서 10점까지 순위를 매깁니다.
이 기술을 사용하자 Google Argon은 0.69를 달성했고, GPT6 Astra는 5.21을, Opus는 6.39를 달성했습니다. 하지만 이제 Kimmy K3.1을 시도해 볼 차례입니다. 저렴하게 무료 티어를 사용하려고 했지만 거절당했습니다. 그래서 지금 여러분에게 이 데모를 보여주기 위해 한 달에 250 위안을 지불하고 있습니다. 그래도 가치가 있었는데, 김미는 샘플에서 단연코 가장 아름다운 말을 만들어냈습니다. 색감 표현이 완벽합니다. 사실적입니다. 그리고 가장 중요한 것은 교미 기관의 크기가 적당하다는 것입니다. 처음에는 그 아름다움에 압도되었지만, 애니메이션을 재생하자 문제가 발견되었습니다.
애니메이션은 정말 형편없습니다. 자세히 보면, 이 모델이 원래 메시(mesh)를 단순히 왜곡하는 방식으로 애니메이션을 구현한다는 것을 알 수 있는데, 이는 3D 객체를 애니메이션화하는 매우 미숙하고 어설픈 방식입니다. 이것을 Claude와 비교해 보면, 말 자체는 그렇게 아름답지 않을 수 있지만, 실제로 95,000개의 정점(vertices)으로 메시를 구축했으며 각 형태가 35개의 본(bone) 중 하나에 연결되어 있고, 이 모든 본이 독립적으로 애니메이션됩니다. 심지어 Gemini Argon도 본을 사용했지만, 어떤 이유로 추가적인 본을 더했습니다. 골격 애니메이션은 더 어렵지만, 바로 그 때문에 말이 걸을 때 블랙홀에 의해 찢겨지는 것처럼 보이지 않습니다.
따라서 Thoroughbench에서 Kimmy K 3.1의 최종 점수는 4.20점인데, 이는 상당히 인상적이지만 여전히 다른 Frontier 모델들보다는 낮은 수치입니다. 하지만 정말 멋진 3D 말이나 사용자 인터페이스(UI)를 구축하고 싶다면, 오늘 영상의 스폰서인 Mobin을 확인해 보셔야 합니다. 저는 Mobin을 5년 넘게 사용해 왔으며, 이제 그 MCP 서버는 코딩 에이전트가 무언가를 디자인하기 전에 60만 개의 실제 UI 화면 라이브러리를 학습할 수 있게 해줍니다. 따라서 로그인 페이지를 요청해서 똑같은 보라색 그라디언트 느낌의 쓰레기를 받는 대신, Claude Code, Cursor 또는 Codeex에게 최고의 앱들이 완전한 사용자 흐름(user flow)을 어떻게 구축했는지 연구하도록 지시하는 것부터 시작해야 합니다.
Mobin을 사용하여 레퍼런스를 수집하고, 그들이 공유하는 패턴에 대한 시각적 보고서를 작성할 것입니다. 그런 다음 해당 흐름(flow)을 재현하여 귀하의 앱에 맞게 조정합니다. 모든 결과는 원래 화면으로 연결됩니다. 이를 통해 출처를 확인할 수 있으며, Mobin을 연결한 후에는 에이전트가 설계하는 모든 것이 실제적인 감각을 가진 것처럼 느껴질 것입니다. 하지만 오늘 Mobin을 무료로 사용해보고 아래 링크에서 20% 할인을 받으세요. 여기까지 코드 리포트였습니다. 시청해 주셔서 감사합니다. 다음 영상에서 뵙겠습니다.
