비선형 이중 시간 척도 확률 근사 (Nonlinear Two-Time-Scale Stochastic Approximation): 급격한 상전이

최근 비선형 이중 시간 척도 확률 근사 (Nonlinear Two-Time-Scale Stochastic Approximation, TTSA)에 대한 유한 시간 분석 (finite-time analyses)에 따르면, 수축 가정 (contractive assumptions) 하에서 단계 크기 (stepsizes) $β_k=Θ(k^{-1})$ 및 $α_k=Θ(k^{-a})$, $a ext{는 }(1/2,1)$인 느린 반복값 (slow iterate) $Y_k$는 일반적으로 $k^{-a}$ 차수의 평균 제곱 (mean-square) 속도를 만족합니다. 분리된 (decoupled) $k^{-1}$ 속도를 얻으려면 강력한 국소 선형성 (strong local linearity)이 필요합니다. 본 연구에서는 정칙성 (regularity)에 의존하는 급격한 경계 (sharp boundary)를 식별합니다. 느린 드리프트 (slow drift)가 국소적으로 선형인 누출 (locally linear leakage)과 $1+\rho$ 차수의 비선형 잔차 (nonlinear remainder, $\rho \in [0,1]$)를 포함하는 속도 결정 정규형 (rate-determining normal form)에서, 수정되지 않은 재귀식 (uncorrected recursion)은 다음과 같습니다.

[ \mathbb{E}|Y_k|^2 \le C\bigl(k^{-1}+k^{-a(1+ρ)}\bigr), ]

그리고 일치하는 스칼라 가우시안 (scalar Gaussian) 하한 (lower bound)은 업데이트를 수정하지 않고서는 더 느린 항을 피할 수 없음을 보여줍니다. 따라서 수정되지 않은 재귀식에 대해 분리된 $k^{-1}$ 속도가 보장되는 조건은 정확히 $a(1+\rho) \ge 1$일 때입니다. 이 하한은 단순한 (naive) 업데이트에만 해당하며, 정보 이론적 장애물 (information-theoretic obstruction)은 아닙니다. 우리는 정규형 재귀식에 보조 온라인 편향 추정기 (auxiliary online bias estimator)

[ M_{k+1}=M_k+\gamma_k(R(X_k)-M_k),\qquad \beta_k\ll\gamma_k\ll\alpha_k, ]

를 장착하고 느린 업데이트에서 $M_k$를 차감함으로써 이를 입증합니다. 동일한 안정성 (stability), 모멘트 (moment), 그리고 잔차 가정 하에서, 수정된 재귀식 (corrected recursion)은 수정되지 않은 업데이트가 증명 가능한 수준으로 더 느린 속도를 겪는 영역을 포함하여 모든 $\rho \in [0,1]$에 대해 $\mathbb{E}|\widetilde Y_k|^2=O(k^{-1})$를 달성합니다. 마지막으로, 우리는 이 상전이 (phase-transition) 메커니즘을 빠른 매니폴드 좌표 (fast-manifold coordinates)에서의 일반적인 비선형 TTSA로 확장하는 국소화된 전이 정리 (localized transfer theorems)를 증명합니다. 이 증명들은 비점근적 (non-asymptotic)이며 두 가지 아벨 변환 (Abel-transform) 상쇄에 의존합니다: 하나는 국소적으로 선형인 빠른 오차 누출 (fast-error leakage)을 위한 것이고, 다른 하나는 추적된 비선형 편향 (nonlinear bias)을 위한 것입니다.