양자화 모델(Quantized models)은 종종 모델 크기, 가중치당 비트(bits per weight), 퍼플렉시티(perplexity), KL 발산(KL divergence), 또는 초당 토큰 수(tokens per second)와 같은 하나의 편리한 수치로 비교되곤 합니다.

이러한 각각의 지표는 유용한 질문에 답을 제공합니다. 하지만 그 어떤 것도 전체 배포(deployment)에 관한 질문에는 답하지 못합니다:

내 하드웨어에서 어떤 양자화(quant)를 실행해야 하는가?

이 3부작 시리즈는 양자화 모델 평가에 대한 ByteShape의 실무적인 접근 방식을 개발합니다. 프레임워크는 간단합니다:

**모델이 적합한가(Fit)?****성능은 얼마나 좋은가(Quality)?**대상 하드웨어에서 얼마나 빠르게 실행되는가(Speed)?

적합성(Fit)은 어떤 모델이 가능한지를 결정합니다. 다운스트림 품질(Downstream quality)과 측정된 처리량(throughput)은 그 모델들 중 어떤 것이 실용적인지를 결정합니다.

파트 1: 적합성, 품질, 그리고 속도: 양자화 모델 선택을 위한 실무적 프레임워크

왜 적합성, 다운스트림 품질, 그리고 처리량이 그 어떤 단일 대리 지표(proxy)보다 중요한가.

파트 1에서는 평가 프레임워크를 소개합니다. 이 프레임워크는 세 가지 측정 범주를 구분합니다:

적합성 지표(fit metrics), 예: 모델 크기, BPW(bits per weight), 컨텍스트 메모리 요구 사항; 품질 측정(quality measurements), 예: 다운스트림 태스크 벤치마크; 배포 측정(deployment measurements), 예: 대상 하드웨어에서의 토큰 생성 처리량(token-generation throughput).

또한 다운스트림 품질을 참조 모델(reference model)에 대한 충실도(fidelity)와 구분합니다. 퍼플렉시티(Perplexity)와 KL 발산(KL divergence)은 상당한 성능 저하를 감지하는 데 유용하지만, 양자화 모델이 정답을 맞히는지, 지시사항을 따르는지, 또는 작동하는 코드를 작성하는지를 직접적으로 측정하지는 않습니다.

파트 2: 변위는 방향이 아니다: 충실도 지표가 베이스라인에 근접한 양자화 모델의 순위를 매기지 못하는 이유

실제 양자화 모델에서 퍼플렉시티(perplexity), KLD, 그리고 관련 진단 도구 테스트하기.

파트 2는 직관에서 증거로 넘어갑니다.

전체 모델 코호트(cohort)에 걸쳐, 퍼플렉시티(perplexity)와 KLD는 벤치마크 품질을 예측하는 것처럼 보입니다. 하지만 그 관계는 주로 명확하게 성능이 저하된 양자화 모델들에 의해 주도됩니다. 베이스라인 품질에 가깝게 유지되는 모델들 사이에서는 순위 신호(ranking signal)가 붕괴됩니다.

우리는 다양한 데이터셋, 컨텍스트 길이 (context lengths), 집계 방법 (aggregation methods), 그리고 응답 전용 점수 산정 (response-only scoring) 설정에 걸쳐 14가지 충실도 지표 (fidelity-metric) 변형을 테스트합니다. 결과는 일관되게 나타납니다. 충실도 지표는 BF16으로부터의 큰 이탈은 감지할 수 있지만, 베이스라인에 근접한 양자화 모델 (quants)들의 순위를 신뢰성 있게 매기지는 못합니다.

프롬프트 수준에서, KLD는 양자화 모델이 BF16과 얼마나 자주 달라지는지를 알려줍니다. 하지만 이러한 차이가 결과에 도움이 되는지, 해가 되는지, 혹은 결과에 변화를 주지 않는지는 알려주지 않습니다.

KLD는 변위 (displacement)를 측정합니다. 벤치마크 품질은 그 변위의 방향에 달려 있습니다.

파트 3: 크기가 곧 속도는 아니다: BPW가 유사한 크기의 양자화 모델 순위를 매기지 못하는 이유

모델 크기와 가중치당 비트 수 (bits per weight, BPW)가 왜 유사한 크기의 양자화 모델 순위를 신뢰성 있게 매기지 못하는가.

파트 3에서는 문제의 배포 (deployment) 측면을 조사합니다.

모델 크기와 가중치당 비트 수 (BPW)는 양자화 모델이 적합한지 결정하고 광범위한 성능 추세를 추정하는 데 유용합니다. 하지만 크기가 유사한 모델들 사이에서, BPW는 측정된 토큰 생성 속도 (token-generation speed)를 신뢰성 있게 예측하지 못합니다.

실제 처리량 (throughput)은 또한 다음 요소들에 따라 달라집니다:

• 양자화 형식 (quantization format),
• 텐서 형태 (tensor shapes) 및 그룹 크기 (group sizes),
• 커널 지원 (kernel support),
• 메모리 액세스 동작 (memory-access behaviour),
• CPU 및 GPU 아키텍처 (architecture),
• 워크로드 (workload) 및 컨텍스트 길이 (context length),
• 그리고 추론 엔진 (inference-engine) 구현.

더 작은 양자화 모델이 더 큰 모델보다 느릴 수 있습니다. 한 GPU에서 잘 작동하는 형식이 다른 장치에서는 다른 순위를 기록할 수 있습니다.

BPW는 저장 비용을 측정합니다. 그것은 실현된 속도를 직접 측정하지 않습니다.

대리 순위 (Proxy rank)는 배포 순위가 아니다

파트 2와 파트 3은 동일한 근본적인 문제를 드러냅니다.

KLD는 BF16 참조 모델에 대해 유지된 충실도 (fidelity)의 대리 지표 (proxy)입니다. BPW는 모델 크기의 대리 지표이며, 간접적으로는 예상 속도의 대리 지표입니다. 둘 다 유용한 스크리닝 지표 (screening metrics)입니다. 하지만 둘 중 어느 것도 최종 배포 결과를 직접 측정하지는 않습니다.

아래 그림은 각 양자화 모델이 해당 대리 지표들에 의해 배치된 위치와, RTX 6000에서 측정된 배포 결과에 따라 도달한 위치를 비교합니다.

각 양자화 모델은 두 번 나타납니다:

• 빈 원(hollow circle)은 해당 모델의 **대리 순위 위치 (proxy-ranked position)**를 나타내며, 여기서 낮은 KLD는 더 나은 품질을, 낮은 BPW는 더 빠른 속도를 의미합니다. - 화살표 머리(arrowhead)는 해당 모델의 **측정된 위치 (measured position)**를 나타내며, 여기서 다운스트림 벤치마크 점수는 품질 순위를 결정하고 측정된 토큰 생성 처리량(throughput)은 속도 순위를 결정합니다.

화살표는 이 두 위치를 연결합니다.

만약 대리 지표(proxies)가 배포 순위를 그대로 재현했다면, 빈 원과 화살표 머리는 겹쳐졌을 것입니다. 하지만 대신 많은 화살표가 길게 나타나며, 그 방향 또한 상당히 다양합니다.

Proxy rank versus measured deployment rank on the RTX 6000. Each quant appears twice: a hollow circle at its proxy-ranked position and an arrowhead at its measured position, joined by an arrow.

수직 이동은 KLD와 벤치마크 품질(benchmark-quality) 간의 불일치를 나타냅니다.

수평 이동은 BPW와 측정된 처리량(measured-throughput) 간의 불일치를 나타냅니다.

전체 변위(total displacement)는 이 두 가지 순위 오류를 결합한 것입니다.

일부 양자화 모델(quants)은 벤치마크 품질 순위가 KLD 기반의 대리 순위와 다르기 때문에 수직으로 이동합니다. 다른 모델들은 양자화 형식(quantization format)이 BPW가 예측하는 것보다 더 빠르거나 느리게 작동하기 때문에 수평으로 이동합니다. 어떤 모델들은 두 축 모두에서 크게 이동하기도 합니다.

정확한 처리량 순위는 하드웨어마다 다릅니다. 이 그림은 RTX 6000 측정값을 사용하지만, 더 넓은 결론은 일반적입니다:

대리 지표에서 승리하는 양자화 모델이 배포 시에도 승리하는 양자화 모델인 경우는 흔치 않습니다.

실무적인 시사점 (The practical takeaway)

실무적인 양자화 모델 선택 프로세스는 세 단계로 이루어집니다:

적합성으로 필터링하기 (Filter by fit). 필요한 컨텍스트 길이(context length)에서 가용 메모리를 초과하는 모델을 제거합니다.
다운스트림 품질 비교하기 (Compare downstream quality). 남은 모델들을 의도된 워크로드(workload)를 반영하는 작업들로 벤치마크합니다.
처리량 측정하기 (Measure throughput). 실제 추론 엔진(inference engine), 하드웨어, 컨텍스트 길이 및 생성 설정을 테스트합니다.

최선의 선택은 적합하고, 성능이 우수하며, 의도된 워크로드에 대해 충분히 빠르게 실행되는 양자화 모델입니다.