Weight-Decay Turns Transformer Loss Landscapes Villani: Functional-Analytic

가중치 감쇠 (weight decay) 는 대규모 언어 모델에서 널리 사용되는 정규화 기법이나, 트랜스포머 손실 지형 (loss landscapes) 을 형성하는 정확한 역할은 이론적으로 충분히 탐구되지 않았습니다. 이 논문은 표준 트랜스포머 목표인 교차 엔트로피 손실과 $L^2$ 정규화를 증명하여 Villani 의 강제 에너지 함수 조건을 만족함을 입증함으로써, 이를 첫 번째로 엄밀한 기능-해석적 (functional-analytic) 특징을 제공합니다. 구체적으로, 우리는 정규화된 손실 $
abla \mathcal{F}$ 가 무한차분 가능하며, 적어도 2 차적으로 증가하고, 가우스 적분 가능한 꼬리를 가지며, 모든 $s>0$ 에 대해 $|θ| \to \infty$ 일 때 미분 성장 조건 $-Δ\mathcal{F} + \tfrac{1}{s}|\nabla\mathcal{F}|^2 \to \infty$ 를 만족함을 보여줍니다. 이 구조로부터, 정규화 강도 $λ$ 와 모델 차원 $d$ 를 유한 시간 수렴 보장과 PAC-Bayesian 일반화 한계와 연결하는 명시적인 로그-소보레프 (log-Sobolev) 와 포인카레 (Poincaré) 상수 $C_{\mathrm{LS}} \leq λ^{-1} + d/λ^{2}$ 를 유도합니다. 이를 검증하기 위해, 우리는 1 억 개 이상의 파라미터를 가진 모델에서 효율적으로 추정할 수 있는 확장 가능한 Villani 진단 $Ψ_s(θ) = -Δ\mathcal{F} + s^{-1}|\nabla \mathcal{F}|^2$ 를 소개하고, Hutchinson trace probes 를 사용하여 이를 계산합니다. Penn Treebank 와 WikiText-103 에서 GPT-Neo-125M 을 대상으로 한 실험은 $Ψ_s$ 의 예측된 2 차 증가, 헤시안 (Hessian) 의 스펙트럼 팽창, 그리고 로그-소보레프 분석과 일관되는 지수적 수렴 행동을 확인했습니다. 이러한 결과는 가중치 감쇠가 경험적으로 일반화를 개선할 뿐만 아니라, 깊은 학습에서 빠른 랑지빈 혼합 (Langevin mixing) 과 이론적으로 기반한 곡면 인식 최적화 (curvature-aware optimization) 에 필요한 수학 조건을 설정함을 보여줍니다.