Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 Quantization-Aware Training (QAT)의 한계점을 극복하기 위해 새로운 최적화 기법인 Q-MINO를 제안합니다. Q-MINO는 기울기 합의, 상태 드리프트 정규화 등을 결합한 시간적 번들 방법으로, 안정적인 최소 노름 업데이트 방향을 구성하여 초저비트 레짐에서의 파라미터 진동 문제를 해결합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Straight-Through Estimator (STE)는 Quantization-Aware Training (QAT)에 널리 사용되는 휴리스틱(heuristic)이지만, 이의 대리 기울기(surrogate gradients)는 근본적인 양자화된 목적 함수와 상당한 불일치를 보일 수 있습니다. 이는 특히 초저비트 레짐(ultra-low-bit regimes)에서 노이즈가 많은 업데이트와 파라미터 진동을 야기합니다. 본 논문에서는 Quantization-Aware Minimal-Norm Optimizer (Q-MINO)를 제안합니다. Q-MINO는 기울기 합의(gradient consensus), 상태 드리프트 정규화(state-drift regularization), 그리고 정렬 제약 조건(alignment constraint)을 결합한 시간적 번들 방법(temporal bundle method)으로, 최근 최적화 상태로부터 안정화된 최소 노름 업데이트 방향을 구성합니다. Q-MINO는 적절한 폴백 초기화(feasible fallback initialization)를 가진 warm-started Frank--Wolfe 절차를 사용하여 결과적인 제약 하의 부분 문제(constrained subproblem)를 해결합니다. 또한, 확률적 Lyapunov Kurdyka--Łojasiewicz (KL) 프레임워크를 통해 Q-MINO가 점근적 이웃 수렴(asymptotic neighborhood convergence)을 달성함을 이론적으로 보여줍니다. 나아가, 다양한 양자화 조건에서 Q-MINO를 사용한 수치 실험들을 상세히 설명합니다.