Q-MINO: 양자화 인식 학습을 위한 최소 노름 방법

Straight-Through Estimator (STE)는 Quantization-Aware Training (QAT)에 널리 사용되는 휴리스틱(heuristic)이지만, 이의 대리 기울기(surrogate gradients)는 근본적인 양자화된 목적 함수와 상당한 불일치를 보일 수 있습니다. 이는 특히 초저비트 레짐(ultra-low-bit regimes)에서 노이즈가 많은 업데이트와 파라미터 진동을 야기합니다. 본 논문에서는 Quantization-Aware Minimal-Norm Optimizer (Q-MINO)를 제안합니다. Q-MINO는 기울기 합의(gradient consensus), 상태 드리프트 정규화(state-drift regularization), 그리고 정렬 제약 조건(alignment constraint)을 결합한 시간적 번들 방법(temporal bundle method)으로, 최근 최적화 상태로부터 안정화된 최소 노름 업데이트 방향을 구성합니다. Q-MINO는 적절한 폴백 초기화(feasible fallback initialization)를 가진 warm-started Frank--Wolfe 절차를 사용하여 결과적인 제약 하의 부분 문제(constrained subproblem)를 해결합니다. 또한, 확률적 Lyapunov Kurdyka--Łojasiewicz (KL) 프레임워크를 통해 Q-MINO가 점근적 이웃 수렴(asymptotic neighborhood convergence)을 달성함을 이론적으로 보여줍니다. 나아가, 다양한 양자화 조건에서 Q-MINO를 사용한 수치 실험들을 상세히 설명합니다.