기하학적 인지 기반의 샤프니스 최소화(Sharpness Minimization)를 통한 포트홀 문제 해결

샤프니스 인지 최소화 (Sharpness-aware minimization, SAM)는 손실 곡률 (loss curvature)이 높은 방향을 따라 파라미터를 섭동 (perturbing)함으로써 평탄한 최소값 (flat minima)을 유도하지만, 기저에 깔린 손실 기하학 (loss geometry)을 무시한 채 모든 파라미터 방향을 균일하게 취급합니다. 본 논문에서는 SAM을 최근 제안된 LLQR 프레임워크로부터 얻은 학습된 전처리기 (preconditioner)와 결합한 LLQR+SAM을 소개합니다. LLQR은 가장 가파른 경사 하강법 (steepest descent)을 계층별 선형-이차 조절기 (layerwise linear-quadratic regulator) 문제로 재구성하는 2차 방법론 (second-order method)입니다. 전처리기는 희소하게 (sparsely) 업데이트되며 느린 지수 이동 평균 (exponential moving average)으로 유지되므로, 손실 지형 (loss landscape) 기하학의 매끄럽고 저해상도인 모습을 포착합니다. 이후 SAM 섭동은 이 학습된 기하학 위에서 작동하며, 더 빠른 시간 척도 (timescale)로 곡률을 탐색합니다. 우리는 이러한 이중 시간 척도 구조가 단순한 계산상의 편의가 아님을 보여줍니다. 이론적으로, 전처리기는 평균적인 기하학 하에서는 평탄하지만 국소적으로는 날카로운 (potholes, 포트홀) 방향에서 SAM의 탈출 신호를 증폭시킵니다. 반면, 넓고 평탄한 분지 (wide, flat basins)는 안정적으로 유지됩니다. 실험적으로 LLQR+SAM은 표준 비전 (vision) 및 시퀀스 모델링 (sequence modeling) 벤치마크 전반에서 SAM과 LLQR 단독 사용 시보다 일관된 성능 향상을 보여주며, 이는 느린 학습 기하학 (slow learned geometry)과 빠른 샤프니스 교정 (fast sharpness correction)이 진정으로 상호 보완적이라는 견해를 뒷받침합니다.