미분 동역학 기반 궤적 및 정책 최적화를 위한 Tempered SMC (TSMC)

요약

본 논문은 미분 가능한(differentiable) 동역학 환경에서 유한 시간 지평(finite-horizon)의 궤적 및 정책 최적화를 위한 새로운 샘플링 기반 프레임워크를 제시합니다. 핵심 방법론인 Tempered Sequential Monte Carlo (TSMC)는 KL 정규화된 기대 궤적 비용을 최소화하는 과정에서 얻어지는 '볼츠만 기울기 분포(Boltzmann-tilted)' 타겟 분포로부터 효율적으로 샘플링하기 위해 설계되었습니다. TSMC는 초기 분포부터 목표 분포까지 온도 변화 경로(tempering path)를 따

핵심 포인트

• TSMC는 미분 동역학 환경에서 궤적 및 정책 최적화를 위한 새로운 샘플링 기반 프레임워크입니다.
• 최적화 과정은 KL 정규화된 기대 궤적 비용을 최소화하며, 이는 볼츠만 기울기 분포를 유도합니다.
• TSMC는 초기 분포부터 목표 분포까지 온도 변화 경로(tempering path)를 따라 입자를 재가중 및 재샘플링하는 어닐링 기법입니다.
• Hamiltonian Monte Carlo (HMC) 재생성(rejuvenation)을 사용하여 샘플 다양성을 유지하고 정확한 기울기를 활용합니다.
• 정책 최적화에 TSMC를 확장하기 위해 초기 상태 분포의 결정론적 근사 및 확장 공간 구성을 사용했습니다.