이 글은 Q8 및 그 이상의 양자화 (quantization) 를 무조건적으로 사용하면서 로컬에서 매우 큰 모델을 사용하는 사람들을 위한 도움이 필요한 요청입니다. 저의 경우 비용은 추론 속도입니다.

저는 Threadripper Pro 3945WS 와 512GB DDR4 ECC 2666 메모기를 보유하고 있으며, llama.cpp CPU 백엔드를 사용하여 MiniMax-2.7 모델을 처리할 때 초당 약 5~7 토큰 (tok/second) 의 속도를 얻고 있습니다. 맞습니다, 이는 ADHD 세대에게는 고문처럼 느껴질지도 모릅니다. 하지만 저는 대용량 사양을 처리하고 계획하는 데 사용하고 있으며, Qwen-3.6-27B 모델을 구현과 테스트를 위해 조종하고 있습니다. 물론 저비트 양자화를 먼저 시도해 보았지만, 성능 감소는 속도에서의 경미한 증가분을 상쇄할 만큼 가치 있는 것이 아니었습니다.

따라서 모델 가중치 (weights) 를 희생하지 않고 추론 출력을 최대화하기 위해 누군가가 어떤 "트릭", 병합되지 않은 PRs, 혹은 숨겨진 보석들을 알고 있는지 궁금합니다. (CPU 만의 추론이 현재 가장 인기 있는 주제는 아니지만, 어쩌면 잊혀져 가는 GitHub 저장소들이 어딘가에 있을지도 모릅니다.)

또 다른 관심사는 저가형 CPU 를 5975 로 업그레이드하는 것입니다. 많은 사람들이 추론 속도가 메모리 대역폭 (memory bandwidth) 에 의해 제한된다고 강력하게 말하지만, PP(Preprocessing) 단계뿐만 아니라 추론 중에도 모든 코어가 100% 부하를 받고 있다는 것을 저는 확인했습니다. 여기서는 클라우드 모델들도 "유의미한 증가 없음"에서 "속도 두 배 증가"에 이르기까지 모순적인 답변을 내놓고 있습니다. 실제로 이 작업을 해본 누군가로부터 진실을 듣고 싶습니다.