사전 조건화된 언어 모델 옵티마이저의 확률적 업데이트 편향 수정

사전 조건화된 옵티마이저 (Preconditioned optimizers)는 언어 모델 학습의 핵심이지만, 이들의 확률적 업데이트 규칙은 대개 모집단 사전 조건화 하강 (population preconditioned descent)에 대한 직접적인 근사치로 취급됩니다. 본 연구에서는 이러한 관점이 두 가지 유한 샘플 편향 (finite-sample biases)을 간과하고 있음을 보여줍니다. 첫째, 그래디언트 (gradient)와 사전 조건화 인자 (preconditioner)는 일반적으로 동일한 미니배치 (minibatch)에서 추정되므로, 그래디언트-사전 조건화 결합 편향 (gradient--preconditioner coupling bias)이 발생합니다. 둘째, 사전 조건화 인자 추정치가 비편향 (unbiased)이더라도, 역행렬 (inverse) 또는 역제곱근 (inverse-root)은 역산 과정이 비선형적이기 때문에 일반적으로 편향됩니다. 우리는 이 두 가지 효과를 모두 해결하는 단일 배치 편향 수정 (single-batch bias-correction) 프레임워크를 제안합니다. 교차 적합 사전 조건화 (cross-fitted preconditioning)는 독립적인 마이크로배치 (microbatch) 그룹으로부터 분자와 사전 조건화 인자를 각각 추정하며, 분산 수정 역산 (variance-corrected inversion)은 마이크로배치의 변동성을 사용하여 델타 방법 (delta-method)의 주요 편향 항을 차감합니다. 이 프레임워크는 대각 모멘트 (diagonal moment), 대각 곡률 (diagonal curvature), 그리고 행렬 사전 조건화 (matrix preconditioning) 방법론에 적용되며, AdamW, Sophia, 그리고 Shampoo에서 구체화되었습니다. 편향 수정은 Qwen2.5-0.5B의 홀드아웃 사전 학습 손실 (held-out pretraining loss)을 각각 $0.15$, $0.07$, $0.11$ nats만큼 감소시켰습니다. 혼합 품질 사전 학습 (mixed-quality pretraining) 및 다운스트림 지시어 튜닝 (downstream instruction tuning)에 미치는 영향은 일관되게 중립 내지 긍정적이었습니다. 이러한 결과들을 종합하면, 편향 수정이 유한 샘플 업데이트 편향을 줄이고 사전 조건화된 옵티마이저의 성능을 향상시키는 실용적인 메커니즘임을 입증합니다.