놀랍다.

Qwen 3.8 27B 모델이 이제 VRAM 8GB의 RTX 4060에서도 로컬로 원활하게 작동한다.

이는 Unsloth의 새로운 IQ4_XS 양자화(quant) 덕분에 가능한 64k 컨텍스트 창이며, 전체 크기는 디스크에서 단지 14.6GB에 불과하다.

프리필(Prefill) 속도는 약 150 tok/s를 기록하며, 네이티브 MTP 덕분에 디코드(decode)는 ~5 tok/s 수준을 유지한다.

8GB 제한을 지키기 위해서는 단지 25개의 레이어만 오프로드하면 되므로, 메모리 초과나 골치 아픈 문제는 없다.

양자화된 KV 캐시가 일반적인 메모리 오버헤드를 사실상 제거해준다.

그리고 맞다. 이 모델은 여러 벤치마크에서 Claude Opus 4.6을 능가할 수 있는 종류의 모델이다.

단돈 $300짜리 GPU로 말이다.

이것을 곱씹어보라.

게시물에 올리기 전에 주의할 점 하나: '여러 벤치마크에서 Claude Opus 4.6을 능가한다'는 주장은 크고, 쉽게 검증 가능한 주장이다. 만약 답글로 첨부할 링크나 스크린샷이 준비되어 있지 않다면 사람들이 몰려와서 전체 스레드를 망칠 것이다. 증거(receipts)를 가지고 와라.