이것은 @Kimi_Moonshot K3가 오픈 소스(Open Source)로 공개된 이후 내가 본 가장 강력한 게시물입니다.

Baseten의 엔지니어인 @waterloo_intern 님이 48시간 동안 탄산수 40캔을 마시며 K3의 모델링 코드를 샅샅이 파헤쳤습니다.

128만 조회수, 6,000개 이상의 저장(收藏),
결국 하나의 결론에 도달했습니다.

하나의 K3 안에는 2019년의 GPT-2가 22,580개나 들어갈 수 있으며,
7년이라는 시간 동안 파라미터(Parameter)가 2만 2천 배 이상 증가했습니다.
하지만 이것은 단순히 파라미터를 쌓아서 만들어진 것이 아닙니다.

GPT-2에서 선형 어텐션(Linear Attention)으로, DeltaNet으로, Gated DeltaNet으로, 그리고 Kimi 자체의 KDA 어텐션(KDA Attention)에 이르기까지.

모든 반복적인 개선(Iteration) 단계는 이전 세대의 구체적인 버그(Bug)를 정밀하게 해결하고 있었습니다.

메모리 부족, 정보 간섭,
선택적 망각 불가능, 잔차 희석(Residual Dilution),
불필요한 단계는 단 하나도 없었습니다.

이것이야말로 오픈 소스의 가장 무서운 점입니다, 여러분.
코드가 공개된 첫날부터,
전 세계에서 가장 똑똑한 엔지니어들이
이미 당신을 대신해 7년간의 기술적 맥락을 명확하게 정리하고 있습니다.
반면 당신의 폐쇄형 모델(Closed-source Model)은 영원히 이런 대우를 누릴 수 없습니다.