빠르고 견고한 혼합 정밀도 후 학습 양자화를 위한 레이어별 오류 기여도 분석

혼합 정밀도 후 학습 양자화(Mixed-precision post-training quantization)는 작은 보정 데이터셋을 사용하여 전역 메모리 예산 하에 계층별로 비트를 할당하는 네트워크 압축 방법입니다. 주요 어려움은 할당 문제의 조합적 특성을 극복하고, 작고 잠재적으로 손상된 데이터베이스에 대한 민감도를 관리하는 것입니다. 따라서 효율적인 할당 방법은 계산 속도가 빠르고 보정 데이터가 손상되었을 때 모델 품질을 유지해야 합니다. 이러한 방법을 설계하기 위해, 우리는 전파된 오류와 주어진 계층에서 도입되는 국소적 섭동(local perturbation)을 분리하는 양자화 오류에 대한 레이어별 확률론적 분석을 도출합니다. 이 국소 항을 사용하여 외부 솔버가 필요 없는 간단한 할당 알고리즘의 분리 가능한 점수(separable score)를 구축합니다. 저희 접근 방식의 확률론적 특성은 손상된 데이터에 견고성을 가져옵니다. DRUNet을 사용한 노이즈 제거 작업에서, 가중치당 평균 예산 4비트를 사용하여, 저희 방법은 깨끗한 보정 조건 하에서 최신 혼합 정밀도 기준선과 일치하거나 개선하며, 테스트된 손상 조건 하에서는 최대 7.5 dB의 PSNR 이득을 보여 더 견고합니다. 실험 결과는 연구된 기준선 대비 28배에서 2,570배에 달하는 비트 할당 속도 향상을 보여줍니다. 양자화 확산 모델(quantized diffusion models)의 경우, 저희 실험은 프레임워크를 직접 적용하는 것만으로도 최신 기술을 개선함을 보여줍니다.