복합 로그-오목 분포 샘플링을 위한 근접 경사 알고리즘
요약
본 논문은 $\mathbb{R}^d$ 상의 복합 로그-오목 분포($\pi \propto e^{-f-g}$)에서 효율적으로 샘플링하기 위한 근접 경사(Proximal Gradient) 알고리즘을 제안합니다. 이 방법은 $f$의 기울기 평가와 $g$에 대한 제한된 가우시안 오라클(RGO) 접근 가능성을 가정하며, 총 변동 거리($\varepsilon$)에서 $\widetilde{\mathcal{O}}(\kappa\sqrt d \log^4(1/\varepsilon))$ 반복 횟수로 수렴함을 보였습니다. 또한, 이 결과를 로그-오목하지 않지만 특정 부등식(Poincaré 또는 log-Sobolev)을 만족하는 경우나 $f$가 비스무스하지만 리프시츠인 경우로 확장했습니다.
핵심 포인트
- 복합 로그-오목 분포($\pi \propto e^{-f-g}$) 샘플링에 근접 경사 알고리즘 적용.
- 샘플링 효율성을 위해 $f$의 기울기 평가와 $g$에 대한 제한된 가우시안 오라클(RGO) 접근을 활용함.
- 총 변동 거리($\varepsilon$)에서 $\widetilde{\mathcal{O}}(\kappa\sqrt d \log^4(1/\varepsilon))$ 반복 횟수로 수렴하는 성능을 달성함.
- 기존 결과의 한계를 넘어, 로그-오목하지 않지만 포앙카레 또는 log-Sobolev 부등식을 만족하는 경우로 알고리즘 적용 범위를 확장함.
우리는 $ ext{R}^d$ 상의 복합 로그-오목 분포(composite log-concave distributions)에서 샘플링하기 위한 알고리즘을 제안합니다. 즉, 밀도 함수가 $ ext{π} ext{∝} e^{-f-g}$ 형태인 경우이며, $f$의 기울기 평가와 $g$에 대한 제한된 가우시안 오라클(Restricted Gaussian Oracle, RGO) 접근이 가능하다고 가정합니다. 후자의 요구사항은 우리가 밀도 $ ext{RGO}_{g,h,y}(x) ext{∝} ext{exp}(-g(x) - rac{1}{2h}||y-x||^2)$에서 쉽게 샘플링할 수 있다는 것을 의미하며, 이는 $g$에 대한 근접 연산자(proximal operator)의 샘플링 유사체입니다. 만약 $f + g$가 $\alpha$-강하게 볼록하고 $f$가 $\beta$-스무스하다면, 우리의 샘플러는 총 변동 거리(total variation distance)에서 $ ext{ε}$ 오차를 $\widetilde{\mathcal O}(\kappa\sqrt d \log^4(1/\varepsilon))$ 반복 횟수 내에 달성하며, 여기서 $\kappa:= \beta/\alpha$이고 이는 $g=0$인 경우의 이전 최첨단 결과와 일치합니다. 나아가 우리는 (1) $ ext{π}$가 로그-오목하지 않지만 포앙카레 부등식(Poincaré inequality) 또는 로그-소보레프 부등식(log-Sobolev inequality)을 만족하는 경우, 그리고 (2) $f$가 비스무스하지만 리프시츠(Lipschitz)인 경우로 우리의 결과를 확장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기