당신에게는 8비트 양자화 (Quantization)가 아마 필요하지 않을 것입니다

제가 로컬에서 오픈 모델 (open models)을 실행하기 시작했을 때, 저는 양자화 (quantization)에 대해 매우 민감했습니다. 더 낮은 비트 깊이 (bit depths)는 편법을 쓰는 것처럼 느껴졌습니다. 몇 달간의 테스트 끝에 제 생각은 바뀌었습니다. 대부분의 사용 사례에서 4비트 양자화 (4-bit quantization)가 실질적인 최적의 지점 (sweet spot)입니다. 제가 발견한 내용은 다음과 같습니다. 8비트 양자화된 70B 모델은 약 140GB의 VRAM을 차지합니다. 동일한 모델의 4비트 버전은 35-45GB를 차지합니다. 이것은 단순한 반올림 차이가 아닙니다. 4만 달러 규모의 GPU 클러스터가 없는 사람에게 이것은 "가능"과 "불가능"의 차이입니다. 품질 저하는 수학적 계산이 시사하는 것보다 작습니다. NF4 (bitsandbytes 및 llama.cpp에서 사용됨)와 같은 기술을 사용하면, 4비트 모델은 구조화된 작업 (structured tasks)에서 추론 품질 (reasoning quality)을 약 2-5% 정도 잃을 수 있지만, 텍스트 생성 (text generation), 창의적 글쓰기 (creative writing), 그리고 지시 이행 (instruction following)에서는 거의 동일하게 유지됩니다. 저는 Llama 2 70B의 8비트 버전과 4비트 버전에 동일한 프롬프트 (prompts)를 연속해서 실행하여 이를 테스트했습니다. 모델의 추론 한계를 명시적으로 밀어붙이지 않는 한, 4비트 출력이 눈에 띄게 나쁜 경우는 거의 없었습니다. 4비트가 한계를 보이는 지점은 다음과 같습니다: 과부하 상태에서의 긴 컨텍스트 (long-context) 작업. 만약 8k+ 토큰 컨텍스트로 집중적인 추론을 수행하거나, 수십 개의 요청으로 배치 추론 (batch inference)을 실행한다면 성능 저하를 보게 될 것입니다. 그런 경우에는 8비트 또는 그 이상의 비트가 VRAM 비용을 들일 가치가 있습니다. 하지만 일반적인 대화형 채팅 (interactive chat)과 적당한 하드웨어에서의 대부분의 프로덕션 워크로드 (production workloads)에는 4비트가 현실적인 선택입니다. 실질적인 시사점은 다음과 같습니다: 기본값으로 "최고 품질의 양자화"를 선택하지 마십시오. 4비트로 시작하여 실제 워크로드를 실행해 보고, 출력이 하드웨어 제약보다 더 중요할 때만 단계를 높이십시오. 대부분의 사람들은 4비트면 충분하다는 것을 깨닫고 더 이상 옮기지 않습니다. 구체적인 수치 하나를 들자면: 4비트 Mistral 7B는 단일 RTX 4060 Ti (8GB)에서 초당 50개 이상의 토큰 (tokens/second)으로 실행됩니다. 8비트는 대역폭 제한 (bandwidth limits)으로 인해 동일한 카드에서 초당 약 20개 토큰 정도가 최대치입니다. 속도 향상은 실질적입니다.