분산의 함정 탈출하기: 근 찾기 이중 레벨 최적화(Root-Finding Bilevel Optimization)를 위한

강화학습 (Reinforcement Learning)에서의 엔트로피 튜닝부터 생성적 적대 신경망 (Generative Adversarial Networks, GANs)의 평형 상태 도달에 이르기까지, 많은 핵심 머신러닝 작업들은 근본적으로 손실 최소화 (Loss Minimization)라기보다는 확률적 근 찾기 (Stochastic Root-Finding) 문제입니다. 그러나 이러한 작업들은 종종 제곱 잔차 (Squared Residuals)를 통해 최소화 프레임워크로 강제 전환되며, 이 과정에서 우리가 '분산의 함정 (Variance Trap)'이라고 식별한 치명적인 결함이 발생합니다. 표준 이중 레벨 최소화 (Bilevel Minimization) 알고리즘은 암시적 자코비안 (Implicit Jacobians)을 포함하는 하이퍼그라디언트 (Hypergradients)를 추정해야 하는데, 확률적 설정 (Stochastic Settings)에서 이러한 항들은 노이즈 증폭기 (Noise Amplifiers)로 작용하여 수렴을 불안정하게 만듭니다. 우리는 이러한 병리적 현상을 우회하는 별개의 문제 클래스로서 근 찾기 이중 레벨 최적화 (Root-Finding Bilevel Optimization, RF-BO)를 공식화합니다. 우리는 근 오차 (Root Error)를 따라 직접 업데이트하여 구조적으로 분산 증폭을 피하는, 이중 시간 척도 확률 근사 (Two-Time-Scale Stochastic Approximation, TTSA)를 이용한 Jacobian-free 솔루션을 제안합니다. 우리는 마르코프 노이즈 (Markovian Noise) 하에서 이 설정에 대한 TTSA의 최초 비점근적 수렴 보장 (Non-asymptotic Convergence Guarantees)을 제공합니다. 광범위한 실험을 통해 이 패러다임의 결정적인 이점을 입증했습니다. 제곱 잔차 및 암시적 경사 (Implicit-gradient) 베이스라인과 비교했을 때, 우리의 프레임워크는 SimCLR에서 2.6%의 Top-1 정확도 향상을 달성하였고, 베이스라인이 실패하는 비선형 상미분 방정식 (Non-linear ODE) 제어에서 17배 빠른 수렴을 보여주었으며, 강화학습에서의 엔트로피 안정성을 크게 개선하였고, 생성 모델링 (Generative Modeling)에서 11.1%의 품질 향상을 달성했습니다.