로컬 LLM 입문자들이 4비트 양자화(Quantization)로 바로 직행하는 이유

저는 동일한 모델(Mistral 7B)을 세 가지 형식인 전체 정밀도(Full Precision, 16-bit), 8-bit, 4-bit로 테스트했습니다. 추론 속도(Inference Speed) 면에서는 네, 4-bit가 가장 빨랐습니다. 하지만 저를 놀라게 한 점은 다음과 같습니다. 추론(Reasoning) 작업에서 8-bit와 4-bit 사이의 품질 격차가 눈에 보였다는 것입니다. 글쓰기 작업은 큰 타격을 입지 않았습니다. 수학 문제는 4-bit를 사용할 때 거의 항상 틀린 결과가 나왔습니다.

진정한 트레이드오프(Tradeoff)는 속도 대 정확도의 문제가 아닙니다. 당신이 모델로 실제로 무엇을 하고 있느냐의 문제입니다.

창의적인 작업(요약, 재작성)에는 4-bit가 괜찮습니다. 정밀함이 요구되는 모든 작업(코드 생성, 수학, 사실 검색)에는 8-bit로 시작하세요. 품질 손실은 거의 제로에 가까우면서 속도 이점의 70-80%를 얻을 수 있습니다.

RAM과 VRAM도 중요합니다. 8-bit 상태의 7B 모델은 약 14GB의 VRAM이 필요합니다. 4-bit는 이를 4-5GB로 줄여줍니다. 만약 RTX 4060(8GB)에서 실행 중이라면 4-bit가 유일한 선택지입니다. 하지만 16GB GPU를 보유하고 있거나 시스템 RAM으로 오프로딩(Offloading)을 하고 있다면, 8-bit가 더 나은 기본 설정입니다.

대부분의 사람들이 범하는 실수는 하드웨어만 보고 양자화(Quantization)를 선택하는 것입니다. 먼저 당신의 작업에 따라 선택한 다음, 하드웨어 제약 사항을 고려하세요.