전처리 공간에서의 반올림: 4비트 AdamW 옵티마이저 상태 양자화 재설계

원문 발행 2026. 10. 09. 02:58원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 옵티마이저 상태를 양자화하는 과정에서 발생하는 오차 문제를 다루며, 특히 '전처리 공간(preconditioner space)' 관점에서 4비트 AdamW 양자화를 재설계했습니다. 제안된 ZIP-SR 및 ZE-EDEN 방법론은 기존 대비 검증 손실 격차를 크게 줄여 GPT 및 Llama 스타일 모델에서 우수한 성능을 입증했습니다.

핵심 포인트

전처리 공간 관점에서 4비트 AdamW 양자화 재설계
ZIP-SR: 영 포함 확률적 반올림 처리 제안
ZE-EDEN: 양의 바닥으로 인한 전처리 왜곡 완화
GPT/Llama 모델에서 최대 70%의 손실 격차 감소 효과 입증

AdamW의 옵티마이저 상태를 양자화하면 영구 저장 공간을 줄일 수 있지만, 양자화 오차가 모멘트 재귀(moment recurrences)를 통해 전파되어 후속 적응형 업데이트를 교란시킵니다. 우리는 extit{반올림 공간(rounding space)}의 관점에서 AdamW의 4비트 옵티마이저 상태 양자화를 재설계합니다. 반올림 공간이란 양자화기가 인접한 복원 레벨 사이에서 선택하는 좌표입니다. 두 번째 모멘트에 대해, 영 근처에 있는 양자화 셀에 대한 국소 분석은 작은 평균 상태 오차가 다음 단계에서 반드시 작은 평균 전처리 오차를 의미하지 않음을 보여줍니다. 또한 1차원 이차 구성(quadratic construction)은 상태 공간 반올림과 전처리 공간 반올림 하에서 질적으로 다른 최적화 역학을 추가로 보여줍니다. 이러한 결과는 두 번째 모멘트 코드북에 영(zero)을 유지하고 전처리 공간에서 확률적 반올림 확률을 계산하는 Zero-Inclusive Preconditioner-space Stochastic Rounding ( extbf{ZIP-SR})을 동기 부여합니다. 보완적인 접근 방식으로는, Zero-Excluding EDEN calibration ( extbf{ZE-EDEN})이 영을 제외하는 두 번째 모멘트 코드북을 사용하고 양자화된 두 번째 모멘트 블록을 재조정하여 양의 양자화 바닥(positive quantization floor)으로 인해 발생하는 전처리 왜곡을 완화합니다. 두 구성 방식 모두 첫 번째 모멘트에 4비트 NormalFloat (NF4)를 사용하며, 최종 10%의 학습 동안 LM-head의 첫 번째 모멘트를 목표 확률적 반올림 처리합니다. extbf{130M}부터 extbf{2.7B} 매개변수에 이르는 GPT 및 Llama 스타일 사전 학습 실험 전반에 걸쳐, 두 방법 모두 TorchAO 4비트 AdamW의 평균 검증 손실 격차를 모든 평가된 모델 크기에서 32비트 AdamW 대비 줄였으며, 보고된 최대 격차 감소는 extbf{70%}에 달합니다. 전체 매개변수 지도 미세 조정(supervised fine-tuning)에서도 두 레시피 모두 다운스트림 작업에서 32비트 AdamW와 근접하면서도 TorchAO보다 낮은 검증 손실을 달성했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

전처리 공간에서의 반올림: 4비트 AdamW 옵티마이저 상태 양자화 재설계

요약

핵심 포인트

댓글