평균 매끄러움 (Average Smoothness)을 이용한 Langevin Monte Carlo의 개선된 보장 (Guarantees)

우리는 오차를 Wasserstein 거리 (Wasserstein distance)로 측정할 때, 강한 로그-오목 (strongly log-concave) 설정에서의 Langevin Monte Carlo (LMC)에 대한 개선된 비점근적 경계 (nonasymptotic bounds)를 확립합니다. 주요 결과는 이산화 오차 (discretization error)가 통상적인 전역 매끄러움 상수 (global smoothness constant)가 아닌, 평균 좌표별 매끄러움 상수 (average coordinate-wise smoothness constant)에 의해 지배된다는 것을 보여줍니다. 증명은 짧고 확률론적이며, 동기식 결합 (synchronous coupling)의 정교한 사용에 의존합니다. 나아가 우리는 동일한 아이디어가 가변 스텝 사이즈 (variable step sizes), 라플라시안 (Laplacian)이 Lipschitz-continuous한 포텐셜 (potentials), 그리고 고정된 포인트 제어 변량 (fixed point control variates)을 가진 확률적 경사 Langevin 역학 (stochastic-gradient Langevin dynamics, SGLD)으로 샘플링된 유한 합 문제 (finite-sum problems)에 대해서도 개선된 경계를 도출함을 보여줍니다. 라플라시안-매끄러운 (Laplacian-smooth) 경우, 통상적인 Hessian-Lipschitz 기여분은 더 약한 trace-type 3차 매끄러움 양 (third-order smoothness quantity)으로 대체됩니다. 유한 합 (finite-sum) 설정에서, 결과적인 SGLD 경계는 구성 함수들의 제곱 평균 루트 매끄러움 (root mean square smoothness)에 대한 의존성을 개선합니다. 가우시안 설계 (Gaussian design)를 가진 일반화 선형 모델 (generalized linear models)에 대한 응용은 이러한 개선 사항들이, 특히 상관관계가 있는 공변량 (correlated covariates)에 대해 기존에 알려진 경계보다 차원에 의존하는 상당한 개선을 가져올 수 있음을 보여줍니다.