Kimi scales open models on tokens, context, and agents.
[한국어자막] Moonshot AI가 말하는 오픈 모델 스케일링의 세 축: 토큰 효율, 긴 컨텍스트, 에이전트 스웜
"오픈 모델은 열려 있기만 해선 안 되고, 훌륭해야 해요."
해설: 2배·24% 효율과 '최초' 주장은 모두 자체 보고라 독립 재현 전까지는 방향 제시로 읽어야 함. 실제 변화는 옵티마이저·잔차 같은 오래된 표준이 재검토 대상이 됐다는 점.
Moonshot AI(Kimi) 발표자가 Kimi K2.5에 들어간 기술을 세 가지 스케일링 축으로 나눠 설명합니다. 같은 토큰으로 더 낮은 손실을 얻는 토큰 효율, 더 긴 작업을 버티는 컨텍스트 길이, 여러 에이전트를 병렬로 돌리는 에이전트 수입니다. 고품질 데이터가 한정된 상황에서는 토큰 효율 향상이 곧 데이터를 늘리는 효과라는 논리가 강연 전체의 축이었다는 것.
게시글은 에이전트 구조 강의로 소개하지만, 실제 비중은 옵티마이저와 어텐션 아키텍처 쪽이 더 큽니다. 에이전트 스웜은 세 축 중 하나이고, 보상 설계 아이디어는 구체적이지만 정량 근거는 적습니다. 수치 대부분이 자사 실험이고 early fusion의 우위도 예비 실험 기준이라고 발표자가 직접 밝혔다는 점에 유의해야 합니다.
· Muon 옵티마이저는 Adam 대비 약 2배 토큰 효율을 낸다고 주장합니다. 1조 파라미터에서 max logit이 1,000을 넘으며 학습이 발산했고, QK-Clip으로 손실 감소에 영향 없이 이를 억제했다는 설명.
· Kimi Delta Attention은 전역 스칼라 감쇠 대신 채널별 감쇠를 쓰고, 청크 단위 계산을 근사 없이 재구성해 선형 어텐션 수준의 효율을 유지합니다. 선형 층과 풀 어텐션 층을 섞은 Kimi Linear가 짧은 입력, 긴 입력, 긴 출력 모두에서 풀 어텐션을 앞섰다는 주장.
· 에이전트 스웜 RL은 서브에이전트 생성을 유도하는 보상, 생성만 하고 끝내지 않는 편법을 막는 완료 보상, 결과 보상을 함께 씁니다. 앞의 두 보상은 학습이 진행될수록 가중치를 줄입니다.
· K2.5는 처음부터 비전과 텍스트를 함께 학습한 early fusion 오픈 모델이라고 설명합니다. 비전 RL만으로 텍스트 과제가 좋아졌고, 비전 SFT 없이 텍스트 SFT만으로도 비전 성능이 최고 수준에 가까웠다는 관찰.
· 차세대 후보인 Attention Residuals는 깊이 방향에 어텐션을 적용해 잔차 연결을 일반화한 구조입니다. 토큰 효율 24% 개선은 자체 보고 수치.
· 스케일링 사다리와 벤치마크 덕분에 오래된 기법도 확신 있게 다시 검증할 수 있게 됐다는 것이 발표자의 연구관.
게시자: @txbrraa / 화자: Moonshot AI(Kimi) 발표자
출처: tobarra · https://t.co/Pgkd5KwPkU
El fundador de Kimi, valorado en $20B acaba de soltar una masterclass de 40 minutos sobre cómo funcionan realmente los nidos de agentes.
He visto gente pagar $400 por cursos que no llegan ni a la mitad de lo que explica él en los primeros 15 minutos.
Arquitectura, sistemas multi-agente, escalado r