Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 KL 정규화를 활용한 유한 호라이즌 마르코프 결정 과정(MDP) 오프라인 Q-러닝을 다룹니다. 저자들은 기존의 KLQ를 제안하고, 이를 개선하여 비관론을 통합한 KLPQ를 제시했습니다. KLPQ는 명시적인 지수적 의존성을 제거하면서도 빠른 수렴 속도를 달성함을 증명하며, 해당 분야의 새로운 이론적 기여를 했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기본 논문은 Kullback-Leibler (KL) 정규화를 사용하는 유한 호라이즌 마르코프 결정 과정(Markov decision processes)에 대한 오프라인 Q-러닝을 조사합니다. 최근 연구들은 KL 정규화가 오프라인 의사결정 문제에서 빠른 수렴 속도를 달성할 수 있음을 보여주었습니다. 하지만, 점진적 확률 근사 업데이트를 채택하는 Q-러닝이 오프라인 환경에서도 이러한 빠른 수렴 속도를 달성할 수 있는지 여부는 명확하지 않습니다. 먼저 우리는 고전적인 Q-러닝의 간단한 변형인 KL 정규화된 Q-러닝(KLQ)을 제안합니다. KL 정규화를 활용하여, KLQ가 명시적인 비관론(pessimism) 없이 $ ilde{O}(1/ ext{ε})$의 표본 복잡도(sample complexity)를 달성함을 증명합니다. 하지만 이 보장은 KL 정규화 매개변수와 호라이즌에 대해 지수적 의존성을 가집니다. 이러한 한계를 해결하기 위해, 우리는 비관론을 KLQ에 통합한 KL 정규화된 비관론 Q-러닝(KLPQ)을 추가로 제안합니다. 우리는 KLPQ가 명시적인 지수적 의존성을 제거하면서도 동일한 $ ilde{O}(1/ ext{ε})$ 속도를 유지함을 증명하며, 이를 통해 표본 복잡도를 더욱 개선했습니다. 저희가 아는 한, 이 결과들은 테이블 형태의 유한 호라이즌 KL 정규화 MDP에서 오프라인 Q-러닝에 대한 최초의 빠른 수렴 속도 보장을 확립합니다.