사전 조건화된 언어 모델 옵티마이저의 확률적 업데이트 편향 수정

요약

본 연구는 사전 조건화된 옵티마이저(Preconditioned optimizers) 학습 시 발생하는 두 가지 유한 샘플 편향, 즉 그래디언트-사전 조건화 결합 편향과 비선형 역산 과정에서의 편향을 분석합니다. 이를 해결하기 위해 교차 적합 사전 조건화와 분산 수정 역산 기술을 결합한 단일 배치 편향 수정 프레임워크를 제안합니다. 실험 결과, AdamW, Sophia, Shampoo 등의 옵티마이저에서 Qwen2.5-0.5B 모델의 사전 학습 손실을 유의미하게 감소시킴을 확인했습니다.

핵심 포인트

• 그래디언트와 사전 조건화 인자가 동일 미니배치에서 추정될 때 발생하는 결합 편향 식별
• 역행렬 및 역제곱근 계산 시 발생하는 비선형적 편향 문제 지적
• 독립적 마이크로배치를 활용한 교차 적합 사전 조건화(cross-fitted preconditioning) 제안
• 델타 방법(delta-method)을 활용한 분산 수정 역산(variance-corrected inversion) 프레임워크 도입
• AdamW, Sophia, Shampoo 등 주요 옵티마이저에 적용하여 사전 학습 성능 향상 입증