안녕하세요 r/LocalLLaMA 여러분! KLD (Kullback-Leibler Divergence), perplexity (혼란도), BPW (Bits Per Weight)와 같은 대리 순위(proxy rankings)와 실제 배포 측정값 사이에 충분히 많은 화살표를 그려보면, 양자화 평가(quantization evaluation)가 마치 추상 현대 미술처럼 보이기 시작하는 것 같습니다. 두 번째 그림을 확인해 보세요! 요약하자면(TL;DR): 성능 저하가 의미 있게 커지는 시점부터는 KLD와 perplexity가 양자화된 모델들의 순위를 매기는 데 도움이 될 수 있습니다. 하지만 베이스라인에 가까운 양자화 모델들의 경우, 이 지표들은 어떤 양자화 모델이 실제로 더 나은지 구별해 내지 못합니다. 저희는 이러한 붕괴가 어디에서 발생하는지 식별하기 위해 심층 분석을 수행했으며, 실제로 어떤 일이 일어나고 있는지 이해하기 위해 많은 개별 샘플을 분석했습니다. 저희의 혼돈 그래프(chaos graph)는 두 가지 차원에서 28개의 양자화된 모델을 비교합니다: KLD 순위 대 벤치마크 품질 순위, BPW 순위 대 측정된 초당 토큰 수(tokens-per-second) 순위. 원들은 대리 지표들이 각 양자화 모델을 어디에 배치하는지를 보여줍니다. 화살표 머리는 양자화 모델이 실제로 도달하는 위치를 보여줍니다. 처리량(Throughput)은 RTX 6000에서 측정되었습니다. 순위가 상당히 뒤섞입니다. 특히, KLD가 가장 낮은 양자화 모델이 반드시 배포하기에 가장 좋은 모델은 아닙니다.

KLD 침묵 구역 (The KLD silent zone)
저희의 실험에서, KLD 대 품질(quality) 도표는 일관되게 두 영역으로 나뉩니다 (첫 번째 그림 참조):
침묵 구역 (Silent zone): 특정 KLD 임계값 아래에서는 KLD와 실제 모델 품질 사이에 의미 있는 관계가 없습니다. 낮은 KLD가 더 나은 품질을 의미하지는 않습니다.
손실 구역 (Lossy zone): 해당 임계값 위에서는 KLD가 품질 저하와 유의미한 상관관계를 갖게 됩니다.
저희는 다양한 데이터셋, 컨텍스트 길이(context lengths), 응답 전용 점수 산정(response-only scoring), 집계 방법(aggregation methods), top-k KLD, perplexity, 그리고 top-token agreement를 통해 14가지 충실도 지표(fidelity-metric) 변형을 테스트했습니다. 그 중 어느 것도 침묵 구역 내에서 신뢰할 수 있는 순위를 회복하지 못했습니다. KLD에 대한 일반적인 논거는 두 가지 가정에 의존합니다:

1. KLD는 양자화된 모델이 BF16 참조 모델로부터 얼마나 멀어지는지를 측정한다. BF16에서 더 멀어질수록 품질이 나빠짐을 의미해야 한다.
2. 두 번째 가정은 종종 성립하지 않습니다. KLD는 여전히 유용한 무언가, 즉 불일치 볼륨(disagreement volume), 즉 BF16과 비교했을 때 얼마나 많은 벤치마크 결과가 변하는지를 측정합니다.

침묵 구역(silent zone) 내에서: KLD는 불일치 볼륨(disagreement volume)과 +0.94의 상관관계를 보입니다. KLD는 품질(quality)과는 0.00의 상관관계를 보입니다. 예를 들어, 프롬프트가 “프랑스의 수도는 어디인가요?”라고 가정해 봅시다. BF16 모델은 “정말 좋은 질문입니다. 프랑스의 수도는 파리입니다.”라고 답변합니다. 이제 양자화된(quantized) 모델이 “파리입니다.”라고 답변한다고 상상해 보세요. 두 답변 모두 정답이지만, 양자화된 모델은 토큰 분포(token distribution)와 어휘(wording)가 BF16 참조 모델로부터 더 많이 벗어나기 때문에 더 낮은 KLD 점수를 받을 수 있습니다. 반면, 또 다른 양자화된 모델이 “정말 좋은 질문입니다. 프랑스의 수도는 로마입니다.”라고 답변할 수도 있습니다. 이 답변은 사실관계가 틀렸지만, BF16 모델의 어휘와 토큰 패턴을 더 밀접하게 따르기 때문에 여전히 더 높은 KLD 점수를 얻을 수 있습니다. 물론 KLD가 정확히 그렇게 측정되는 것은 아니지만, 이 논의를 진행하기에는 충분히 근접한 설명입니다. KLD에 결여된 것은 바로 방향성(direction)입니다. 어떤 변화는 BF16이 저지른 실수를 바로잡기도 하지만, 다른 변화는 새로운 실수를 유발하기도 합니다. 침묵 구역 내에서 KLD는 이러한 변화가 도움이 되는지 해로운지와 거의 관계가 없으며, ρ = −0.13을 나타냅니다. 모델이 손실 구역(lossy zone)에 진입하면, 발산(divergence)은 더 예측 가능하게 해로운 방향으로 흐르며, 방향성과의 상관관계는 ρ = −0.67에 도달합니다. 하지만 그 시점에 이르면 모델은 더 이상 베이스라인(baseline) 근처에 있지 않습니다. KLD는 변위(displacement)를 측정합니다. 벤치마크 품질은 그 변위의 방향에 달려 있습니다. BPW(Bits Per Weight)도 유사한 문제를 가지고 있습니다. BPW는 모델 크기와 모델이 주어진 장치에 적합할지 여부를 추정하는 데 유용합니다. 하지만 초당 토큰 수(tokens per second)를 기준으로 비슷한 크기의 양자화 모델(quants)을 안정적으로 순위 매기지는 못합니다. 양자화 형식(quantization format), 커널(kernels), 텐서 모양(tensor shapes), 하드웨어, 워크로드(workload), 그리고 추론 구현(inference implementation) 모두가 순위를 바꿀 수 있습니다. 전체 결과는 여기에 정리해 두었습니다: [Series landing page]: 모든 세부 사항이 담긴 3부작 블로그. [Preprint]: 전체 방법론, 강건성 분석(robustness analyses), 그리고 Devstral 재현 결과. 이것이 다른 사람들이 관찰한 내용과 일치하는지 궁금합니다. KLD는 더 높지만 여러분의 용도에는 더 잘 작동하는 양자화 모델을 본 적이 있나요?

더 작은 양자화 모델보다 더 큰 양자화 모델이 더 빨랐던 적이 있나요? /u/enrique-byteshape 제출 [link] [comments]