곡률 가중 그래디언트 다양성 (Curvature-Weighted Gradient Diversity): 기하학적 적응형 SGD 스케줄을 위한

미니 배치 확률적 경사 하강법 (mini-batch stochastic gradient descent, SGD)의 표준 수렴 분석은 모든 파라미터 방향을 동일하게 취급하는 단일 분산 항을 사용하여 그래디언트 노이즈를 모델링합니다. 이는 높은 곡률 (high-curvature) 방향의 노이즈는 학습률 (learning rates)이 이미 그곳에서 제한되어 있기 때문에 영향력이 더 적다는 사실을 무시합니다. 우리는 샘플별 그래디언트 다양성에 헤시안 (Hessian)의 역 제곱근을 가중치로 부여하여, 유효한 최적화 노이즈 (optimization noise)에 대한 더 정밀한 대리 지표를 제공하는 기하학적 인지 측정법인 곡률 가중 그래디언트 다양성 (Curvature-Weighted Gradient Diversity, CWGD)을 도입합니다. 대각 헤시안 (diagonal Hessians)과 등방성 노이즈 (isotropic noise)를 가진 강볼록 이차 목적 함수 (strongly convex quadratic objectives)의 경우, 우리는 CWGD로 조절된 코사인 학습률 스케줄 (cosine learning-rate schedule)이 표준 코사인 어닐링 (cosine annealing)과 비교했을 때 점근적 최적화 오차 하한 (asymptotic optimization error floor)을 최대 2배까지 줄일 수 있음을 증명합니다. 우리는 이 아이디어를 이차 목적 함수에 대해 정확한 Hutchinson 기반 대각 헤시안 추정기를 사용하는 CWGD-Cosine으로 구현합니다. 다양한 조건수 (condition numbers), 배치 크기 (batch sizes), 노이즈 구조에 걸쳐, CWGD-Cosine은 이차 설정에서 무시할 수 있는 오버헤드만을 발생시키면서 표준 코사인 어닐링보다 최종 최적화 오차를 일관되게 약 20% 더 낮게 달성합니다. 또한 우리는 퇴화된 곡률 추정기 (degenerate curvature estimator)를 식별하여 수정하고, 제안된 추정기의 강건성 (robustness)을 분석하며, 비볼록 최적화 (non-convex optimization)에서의 헤시안 신선도 (Hessian staleness)를 포함한 이 방법의 한계점을 명시적으로 논의합니다. 이러한 결과는 CWGD를 최적화 노이즈의 원칙적인 기하학적 인지 측정법으로 확립하며, 더 일반적인 학습 문제로의 향후 확장을 촉진합니다.