유한 분산을 넘어선 확률적 경사 하강법 (SGD)의 통계적 추론

확률적 경사 하강법 (Stochastic gradient descent, SGD)은 대규모 통계 학습 (statistical learning) 및 확률적 최적화 (stochastic optimization)를 위한 기초적인 알고리즘입니다. 그러나 확률적 경사 (stochastic gradients)가 무한 분산 (infinite variance)을 가질 경우, 관련 극한 분포 (limiting distributions)가 알려지지 않은 교란 매개변수 (nuisance parameters)에 의존하기 때문에 SGD 반복 (iterates)에 기반한 통계적 추론 (statistical inference)은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 유한 분산 (finite-variance) 및 무한 분산 (infinite-variance) 영역 모두에 적용 가능한, SGD 궤적 (trajectories)으로부터 신뢰 영역 (confidence regions)을 구축하기 위한 효율적이고 모델 불가지론적 (model-agnostic)인 방법론을 개발합니다. 이 절차는 Polyak-Ruppert 평균 추정량 (averaged estimator)과 SGD 궤적을 따르는 확률적 경사로부터 구축된 경험적 2차 모멘트 정규화 인자 (empirical second-moment normalizer)에 대한 결합 약수렴 (joint weak convergence) 결과에 기반합니다. 이 결합 극한 (joint limit)은 주요 꼬리 의존적 스케일링 항 (tail-dependent scaling terms)이 상쇄되는 자기 정규화 통계량 (self-normalized statistic)을 산출합니다. 그런 다음 우리는 꼬리 지수 (tail indices), 천천히 변하는 함수 (slowly varying functions), 또는 안정 법칙 매개변수 (stable-law parameters)의 명시적인 추정을 피하기 위해 서브샘플링 보정 (subsampling calibration) 체계를 사용하여 관련 임계값 (critical values)을 추정합니다. 결과적으로 도출된 신뢰 영역은 구현이 간단하며, 유한 2차 모멘트 (finite-second-moment) 및 무한 2차 모멘트 (infinite-second-moment) 영역 모두에서 점근적으로 유효 (asymptotically valid)합니다. 시뮬레이션 연구는 다양한 설정에서 신뢰할 수 있는 커버리지 (coverage)를 보여주며, 제안된 방법이 확률적 최적화에서의 불확실성 정량화 (uncertainty quantification)를 위한 실용적인 도구임을 뒷받침합니다.