놀랍다. qwen3.8-27b 모델이 8GB VRAM을 가진 rtx 4060에서 로컬로 구동되고 있다.

64k 컨텍스트를 unsloth의 iq4_xs 양자화 덕분에, 디스크에 14.6GB가 필요하다. 프리필은 초당 약 150 토큰, 네이티브 mtp 사용 시 디코딩은 초당 약 5 토큰이다. 8GB 제한을 지키기 위해 단지 25개 레이어만 오프로드되었고, 오버플로우는 없다.

그리고 이 벤치마크 주장은 실제로 성립한다. 대부분의 경우와 달리: swe-bench pro에서 qwen3.8-27b가 61.7점을 기록했고, opus 4.6 max는 같은 테스트에서 53.4점을 기록했다.

$300짜리 GPU로 claude 플래그십 모델을 실제 코딩 벤치마크에서 능가하는 27B 모델이라니.

이 사실을 한번 곱씹어보라.