비트(Bits) 대 순열(Permutations): 소규모 로컬 언어 모델에서 고정된 추론 예산을 가중치 정밀도에 사용할 것인가, 옵션-순서

로컬 언어 모델은 가중치를 더 적은 비트로 저장하여 메모리를 절약할 수 있으며, 몇 번의 재배열(reordering)을 평균화함으로써 답변 옵션 순서에 대한 민감도를 줄일 수 있습니다. 우리는 이 두 가지 방법 중 어느 것이 다른 방법을 악화시키는지, 그리고 고정된 예산을 어떤 방식으로 사용하는 것이 더 저렴한지 질문합니다.

ARC-Easy, ARC-Challenge, MMLU 및 HellaSwag(각 300개 항목)에서 Qwen3-0.6B와 Qwen3-1.7B 모델을 대상으로 시뮬레이션된 반올림 근사 가중치 양자화(8, 6, 4, 3 비트, fp16 기준)를 사용하여 A부터 D까지의 문자 로짓(logits)을 읽었습니다. 6비트는 fp16 대비 정확도 손실이 없었으며 (점수 +1.8 (+1.0~+2.5) 및 +0.9 (+0.3~+1.5)점 상승), 8비트의 경우 -0.7 (-1.1~-0.3)점과 -0.4 (-0.7~-0.2)점만큼 변화했습니다. 4비트에서는 답변 슬롯 편향(answer-slot skew)이 0.6B 모델에서 0.15에서 0.53으로, 1.7B 모델에서 0.07에서 0.12로 증가했습니다. 동일한 가중치 SNR을 가진 가우시안 노이즈는 각각 0.15 및 0.37 (두 번의 추출)과 0.19 (한 번의 추출)를 나타내므로, 반올림이 동등 전력 잡음(equal-power noise)보다 더 많은 슬롯 편향을 추가하는지 여부에 대한 통제는 결론적이지 않습니다. 플립률은 증가하지만 독립적인 균일 오차(independent uniform errors)로 매칭된 기준선보다 낮게 유지됩니다.

네 번의 순환 순서 평균화는 4비트에서 0.6B 모델에 +12.6점 (fp16에서는 +5.3점)을 회복시켰습니다. 우리는 비트와 패스(passes)를 기계 독립적인 단위인 '가중치 바이트 읽기 횟수 × 패스 수'로 가격 책정했습니다. 비용이 일치하는 쌍에서, 추가 순서(extra orders)는 가중치가 6비트 이상일 때만 추가 비트를 능가하며, 결정 표는 다음과 같이 단순화됩니다: 6비트 가중치를 사용하고 나머지 예산을 최대 네 번의 순서에 분배하여 각 패스를 수행합니다. 모든 것은 가장 간단한 양자화기(quantizer)를 사용하는 두 개의 소형 모델에서 시뮬레이션되었으며, 제목 수준 검색에서는 옵션 순서와 함께하는 양자화에 대한 이전 연구를 찾을 수 없었습니다.