느리게 감쇠된 Langevin 동역학 (Slowly Annealed Langevin Dynamics): 이론 및 훈련 없는 안내 생성에의 응용

요약

느리게 감쇠된 Langevin 동역학(SALD)은 이동하는 목표 분포의 경로를 추적하고 시간 지연을 통해 최종 목표를 근사하는 샘플러입니다. 이 연구는 KL 미분 부등식을 사용하여 비점근적 수렴 보장을 확립하며, 지연이 복잡성을 줄여 추적 성능을 개선함을 입증했습니다. 나아가, VA-SALD라는 속도 인식 SALD를 제안하여 사전 훈련된 모델의 주변 분포와 안내 편향을 통합함으로써, 확산 기반 생성 모델에 대한 훈련 없는 안내 생성을 위한 원칙적인 프레임워크를 제공합니다.

핵심 포인트

• SALD는 이동하는 목표 분포 경로 추적 및 시간 지연 근사에 사용되는 샘플러입니다.
• KL 미분 부등식을 통해 비점근적 수렴 보장을 확립하여 이론적 기반을 강화했습니다.
• VA-SALD를 도입하여 속도 정보를 활용하고, 안내 편향(guidance bias)을 보정함으로써 성능을 개선했습니다.
• 본 연구는 사전 훈련된 모델에 대한 훈련 없는 안내 생성(training-free guided generation)의 원칙적인 프레임워크를 제시합니다.