양자화(Quantization)는 파라미터의 비트폭을 줄여 역량 있고 자원 효율적인 대규모 언어 모델(LLMs)을 구축하는 강력한 전략입니다. 양자화된 LLMs가 표준 예측 지표를 사용하여 교란되지 않은 입력에 대해 최첨단 성능을 달성하지만, 신뢰성을 측정하는 방식으로 평가되는 이들의 교란 입력에서의 성능은 안정적인 배포에 중요함에도 불구하고 여전히 충분히 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 세 가지 핵심 구성 요소로 이루어진 양자화된 LLMs의 포괄적인 신뢰성 평가를 수행합니다: (1) 불확실성(Uncertainty): 확립된 불확실성 지표를 사용하여 2비트, 3비트, 4비트 및 8비트로 양자화된 LLMs의 신뢰성을 여섯 가지 다른 양자화 방법을 이용해 평가합니다. (2) 보정(Calibration): 모델 규모와 비트 정밀도 전반에 걸쳐 양자화된 모델의 불확실성 추정치가 얼마나 잘 보정되었는지 평가합니다. (3) 강건성(Robustness): 실제 애플리케이션에서 발생하는 의미를 보존하는 입력 변형 하에서 양자화된 모델의 신뢰성을 평가하기 위해 문자 수준 및 단어 수준의 입력 교란을 설계했습니다. 둘째, 우리는 모델 비트 총 개수에 따라 신뢰성이 어떻게 스케일링되는지 특성화합니다. 우리의 연구는 성능이 전체 비트 수에 따라 단조롭게 스케일링되지만, 신뢰성 스케일링은 비선형적임을 보여줍니다. 4비트 양자화 모델에서 신뢰성 피크가 발생하며, 이는 적당한 크기의 모델을 양자화하는 것이 최상의 신뢰성-효율성 트레이드오프를 제공함을 나타냅니다. 또한, 우리의 경험적 발견은 양자화가 자연스러운 입력 교란에 대한 LLMs의 강건성을 향상시킨다는 것을 밝혀냅니다.