위 차트는 모델 크기 대비 양자화 (Quantization) 수준과 실제로 필요한 RAM 용량을 매핑한 것입니다.

개인 사용자에게 Q4는 거의 항상 적절한 시작점입니다.
Q8 대비 RAM 절약 효과는 대략 절반 정도로 엄청나며, 대부분의 실제 작업에서 품질 차이는 알아차리기 어렵습니다. 저는 동일한 모델의 Q4와 Q8 버전을 나란히 놓고 동일한 프롬프트를 제가 인정하고 싶지 않을 정도로 여러 번 실행해 보았습니다. 코딩, RP (판단하지 마세요), 구조화된 출력 (Structured output)의 경우, 차이를 확실히 구분할 수 없었습니다. 미세한 환각 (Hallucination)이 누적되는 미세한 구조화 데이터 추출과 같이 출력 정밀도가 진정으로 필요한 작업을 수행하거나, 혹은 Micro Center에서 RAM을 털어와서 남는 RAM이 아주 많은 경우가 아니라면 저는 Q8을 선택하지 않을 것입니다.

Q2는 수치상으로는 유혹적입니다.
솔직히 현재 RAM 가격이 400-500% 급등한 것을 고려하면 그 유혹은 실재합니다. 하지만 품질 저하를 감수할 만큼 가치가 있는 사용 사례를 단 하나도 찾지 못했습니다. 한 번 이상의 논리적 단계가 필요한 작업에서는 출력이 눈에 띄게 저하되기 시작합니다. Q2는 그저 "실행은 되는" 영역입니다.

이제 실제 모델과 그에 따른 비용에 대해 이야기해 봅시다.
7B Q4의 경우 약 4GB가 필요합니다. 이것이 8GB 기기를 위한 최적의 지점 (Sweet spot)입니다. Mistral 7B와 Llama 3.1 8B가 모두 이 범위에 해당합니다. Mistral 7B는 빠르고 민첩하지만, 긴 일관된 추론이 필요한 작업에서는 어려움을 겪기 시작하며 복잡한 다단계 작업에서는 정신을 놓아버립니다. Llama 3.1 8B는 지시 이행 (Instruction following) 측면에서 더 일관적이지만 약간 더 느립니다. 최신 하드웨어라면 둘 중 어느 것을 사용해도 실시간처럼 느껴질 것입니다. 만약 8GB 환경이라면 Q4 기준 이것이 당신의 거의 유일한 선택지이므로, 거부하지 말고 그냥 하나를 골라 사용하세요 (그리고 한동안은 모델을 꾸준히 사용하는 법을 배우세요).

13B Q4의 경우 약 8GB가 필요합니다. 여기서부터 상황이 흥미로워집니다. Mistral Nemo 12B가 이 위치에 있으며, 이는 매우 과소평가되어 있습니다. 7B 모델들보다 추론 능력이 더 뛰어나고 여전히 빠르지만, 이 서브레딧(Sub)에서 충분히 언급되지 않고 있습니다. 단점은 출력 형식에 대해 더 자기주장이 강하며, 간결하게 작성하라는 지시를 때때로 무시한다는 점입니다.

만약 16GB를 보유하고 있다면, 이 계층(tier)이 당신의 데일리 드라이버(daily driver)가 되어야 합니다. 7B 모델이 아니라요. 하지만 제가 당신의 아빠는 아니니까요 (제가 그럴 수도 있을지 누가 알겠어요?)

34B 라인은 16GB를 사용하면서 RAM 업그레이드가 의미가 있을지 고민하는 모든 이들에게 제가 짚어주고 싶은 부분입니다. Q4 양자화(Quantization) 기준으로 20GB가 필요합니다. 이는 16GB 기기에서는 편안한 범위를 약간 벗어나는 수준이며, 24GB 이상 기기에서는 딱 들어맞는 수준입니다. 만약 업그레이드를 고려 중이라면 아마도 Qwen2.5 34B 모델을 기다리게 될 것입니다. 13B에서 34B로 넘어갈 때의 추론 품질(reasoning quality) 향상은 7B에서 13B로 갈 때만큼 항상 뚜렷하게 나타나지는 않기 때문입니다. 단점은 Qwen 모델들이 장황할 수 있고, 때때로 지루하고 지칠 정도로 과하게 설명하는 경향이 있다는 점입니다. 시스템 프롬프트(system prompt)로 쉽게 해결할 수 있지만, 알아둘 가치는 있습니다.

16GB에 대한 솔직한 견해: 충분합니다. OS와 다른 앱들을 위한 여유 공간을 남겨두고도 13B Q4 모델을 편안하게 실행할 수 있습니다. 특정 워크플로우가 한계에 부딪힌 것이 아니라면, 추가 RAM을 구매하기 전에 기다려 보시길 권합니다. "더 나은 결과물을 원한다"는 것은 그 한계(wall)가 아닙니다. 대부분의 경우(대부분의 사례에서) 더 나은 프롬프트가 추가적인 16GB보다 더 큰 효과를 발휘할 것입니다.

48GB가 되면 선택의 폭이 상당히 넓어집니다. Llama 3.1 70B 모델을 Q4 수준에서 약 38~40GB 정도로 실행할 수 있습니다. 이 지점부터 품질의 상한선(quality ceiling)이 미드 티어(mid-tier) 클라우드 서비스와 진정으로 경쟁할 만한 수준으로 느껴지기 시작합니다 (하지만 우리 대부분은 이런 사양의 기기를 감당할 여유가 없습니다. 적어도 현재 시장 상황에서는 말이죠).

문법 교정을 위해 Grammarly를 사용했습니다.
원어민이 아닙니다.
제출자: /u/notrealarpit
[링크] [댓글]