제어된 마르코프 체인(CMC)의 모델 기반 부트스트랩

요약

본 논문은 비정상적이거나 이력 의존적인 제어 정책을 가진 유한 제어된 마르코프 체인(CMC)의 전이 커널에 대한 모델 기반 부트스트랩 방법을 제시합니다. 이는 데이터 생성 행동 정책이 알려지지 않은 오프라인 강화학습 환경에서 발생하는 문제를 해결하는 데 중점을 둡니다. 연구진은 단일 장기 사슬 레짐과 에피소드형 오프라인 RL 레짐 모두에서 제안된 전이 추정기의 분포적 일관성을 성공적으로 입증했습니다.

핵심 포인트

• 제어된 마르코프 체인(CMC)의 전이 커널에 대한 모델 기반 부트스트랩 방법을 제안함.
• 데이터 생성 행동 정책을 알 수 없는 오프라인 강화학습 (Offline RL) 환경에 초점을 맞춤.
• 단일 장기 사슬 및 에피소드형 오프라인 RL 레짐 모두에서 전이 추정기의 분포적 일관성을 확립함.
• 새로운 부트스트랩 대수의 법칙(LLN)과 마팅게일 중심 극한 정리(CLT)의 활용을 핵심 기술로 사용함.