느리게 감쇠된 Langevin 동역학 (Slowly Annealed Langevin Dynamics): 이론 및 훈련 없는 안내 생성에의 응용
요약
느리게 감쇠된 Langevin 동역학(SALD)은 이동하는 목표 분포의 경로를 추적하고 시간 지연을 통해 최종 목표를 근사하는 샘플러입니다. 이 연구는 KL 미분 부등식을 사용하여 비점근적 수렴 보장을 확립하며, 지연이 복잡성을 줄여 추적 성능을 개선함을 입증했습니다. 나아가, VA-SALD라는 속도 인식 SALD를 제안하여 사전 훈련된 모델의 주변 분포와 안내 편향을 통합함으로써, 확산 기반 생성 모델에 대한 훈련 없는 안내 생성을 위한 원칙적인 프레임워크를 제공합니다.
핵심 포인트
- SALD는 이동하는 목표 분포 경로 추적 및 시간 지연 근사에 사용되는 샘플러입니다.
- KL 미분 부등식을 통해 비점근적 수렴 보장을 확립하여 이론적 기반을 강화했습니다.
- VA-SALD를 도입하여 속도 정보를 활용하고, 안내 편향(guidance bias)을 보정함으로써 성능을 개선했습니다.
- 본 연구는 사전 훈련된 모델에 대한 훈련 없는 안내 생성(training-free guided generation)의 원칙적인 프레임워크를 제시합니다.
우리는 이동하는 목표 분포의 경로를 추적하고 시간 지연을 통해 최종 목표를 근사하는 샘플러인 느리게 감쇠된 Langevin 동역학(Slowly Annealed Langevin Dynamics, SALD)을 연구합니다. 우리는 KL 미분 부등식(KL differential inequality)을 통해 비점근적 수렴 보장(non-asymptotic convergence guarantees)을 확립하며, 지연이 중간 목표와 경로의 복잡성을 수축함으로써 추적을 개선함을 보여줍니다. 사전 훈련된 점수 기반 생성 모델(score-based generative models)을 사용한 훈련 없는 안내 생성(training-free guided generation)에 영감을 받아, 우리는 사전 훈련된 모델의 근본적인 주변 분포(underlying marginal distributions)를 명시적으로 통합하고 지연을 사용하여 안내로 인해 발생하는 추가 편차를 보정하는 속도 인식 SALD(Velocity-Aware SALD, VA-SALD)를 추가로 소개합니다. 이는 확산 기반 및 관련 생성 모델 계열에 대한 훈련 없는 안내 생성을 위한 원칙적인 프레임워크를 제공하며, 중간 함수 부등식(intermediate functional inequalities)과 안내 편향(guidance bias)의 역할을 명확히 하는 수렴 보장과 함께 합니다. 코드는 https://github.com/anitan0925/sald에서 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기