K2 Horizon 라인업이 AA에 공개되었고, 또다시 AA 플롯은 오해를 불러일으킵니다.
요약
K2 Horizon 라인업이 공개되었으며, AA 플롯 분석 결과 3.7B와 7B 모델이 현재 SOTA로 주목받고 있습니다. 다만, 이들 모델의 KV 캐시 디자인 문제점과 특정 하드웨어 환경(Strix Halo 등)에서의 성능 적합성에 대한 논의가 주를 이루고 있습니다.
핵심 포인트
- K2 Horizon 라인업 공개 및 AA 플롯 분석 결과 제시
- 3.7B와 7B 모델이 현재 SOTA로 평가됨
- 모델들의 KV 캐시 디자인에 근본적인 문제점이 있음
- 특정 하드웨어(Strix Halo) 환경에서의 사용 적합성 논의
전체 K2 Horizon 라인업이 Artificial Analysis (AA)에 공개되었습니다.
AA 지능 대 파라미터 플롯을 보면 다음 사실을 알 수 있습니다.
- 0.9B와 375B는 좋지 않습니다.
- 3.7B와 7B가 SOTA(State-of-the-Art)입니다.
- 36B A4B는 메모리 대역폭이 낮은 하드웨어(spilled experts, Strix Halo, DGX Spark)에서 SOTA입니다.
저는 AA 지능 지수(Intelligence Index)를 액면 그대로 받아들이려고 합니다. 이 글은 그것에 관한 것이 아닙니다.
문제는 이 모델들이 형편없는 KV 캐시 디자인을 가지고 있다는 것입니다. 이는 파라미터 수를
이 모델은 Qwen3.8-27B에 대한 멍청하고 더 빠른 대안으로서 64GB Strix Halos에서도 흥미로울 수 있습니다. 128GB Strix Halo를 가진 사용자들은 Qwen3.8-Flash-Next가 훨씬 좋습니다.
K2 Horizon 7B는 정확히 16GB VRAM, 32GB RAM을 가진 Strix Halos, 그리고 16/32 GB Strix Point를 가진 호스트에게 흥미로울 수 있습니다;
K2 Horizon 3.7B는 12GB 휴대폰에 흥미로울 수 있지만, MiniCPM5-2B가 훨씬 더 나은 사용자 경험(UX)을 제공할 것이라고 예상합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기