의사결정을 위한 잠재 변수 인지형 적응적 확산 모델 Ada-Diffuser

최근 연구들은 확산 모델 (Diffusion Models)과 같은 생성 모델을 사용하여 의사결정 (Decision-making)을 시퀀스 모델링 (Sequence modeling) 문제로 정의해 왔습니다. 이러한 접근 방식은 유망하지만, 환경 전이 (Environment transitions), 보상 구조 (Reward structures), 그리고 에이전트의 고차원적 행동 (High-level agent behavior)에 근본적인 요소인, 진화하는 역학을 보이는 잠재 요인 (Latent factors)을 간과하는 경우가 많습니다. 이러한 숨겨진 프로세스 (Hidden processes)를 명시적으로 모델링하는 것은 정밀한 역학 모델링 (Dynamics modeling)과 효과적인 의사결정을 위해 필수적입니다. 본 논문에서는 최소한이면서도 충분한 관측값으로부터 잠재 역학 추론 (Latent dynamic inference)을 생성적 의사결정에 명시적으로 통합하는 통합 프레임워크를 제안합니다. 우리는 완만한 조건 하에서 작은 시간 단위의 관측 블록으로부터 잠재 프로세스 (Latent process)를 식별할 수 있음을 이론적으로 보여줍니다. 이러한 통찰을 바탕으로, 관측된 상호작용의 시간적 구조와 기저의 잠재 역학 (Underlying latent dynamics)을 동시에 학습하며, 나아가 이를 계획 (Planning) 및 제어 (Control)에 활용하는 인과적 확산 모델 (Causal diffusion model)인 Ada-Diffuser를 소개합니다. 모듈형 설계 (Modular design)를 갖춘 Ada-Diffuser는 계획 및 정책 학습 (Policy learning) 작업을 모두 지원하여, 역학, 보상, 그리고 잠재 행동 (Latent actions)의 잠재적 변화에 적응할 수 있게 합니다. 시뮬레이션된 제어 및 로봇 벤치마크에서의 실험을 통해 정확한 잠재 추론 (Latent inference)과 적응형 정책 학습 (Adaptive policy learning)에서의 효과를 입증하였습니다.