로컬 LLM 구동을 위해 그렇게 비싼 사양이 필요하지 않습니다.

많은 분들이 64GB의 ddr5 4x3090 또는 어떤 스트라타(strata) 빌드를 사용하시는 것을 보았는데, 제가 감당할 수 없다는 사실이 좀 우울했습니다. 하지만 오늘 드디어 제 세팅을 끝냈으니, 자, 시작해 보겠습니다.

Qwen 3.8 27b 모델을 262k 컨텍스트로, unsloth iq4XS ascii condensed와 kv 캐시 스트리밍으로 구동하고 있습니다. 저의 GPU는 9060 xt 16GB이고, 홈랩 전체에 사용할 수 있는 ddr5 메모리는 24GB만 있습니다. 이 MTP+ ngram 예측은 q4 kv 캐시 값과 q8 키를 사용하여 진행하며, 성능은 다음과 같습니다: 42.7 tps 생성, 20k에서 658 tps 프리필, 200k에서 35/500 tps입니다.

이 포크(fork)를 사용했습니다: https://github.com/achyudh/llama.cpp. grok bot을 이용해 ssh로 접속하여 /u/Maglcite님이 제출하신 누락된 pcie atomics 버그들을 수정했습니다. [링크] [댓글]