엔트로피적 최적 정책 식별을 위한 타이트한 샘플 복잡도 경계

요약

본 논문은 엔트로피적 위험 측정치를 사용하는 유한 지평선 위험 민감 강화학습에서 최적 정책 식별에 필요한 샘플 복잡도 경계를 연구합니다. 기존 연구는 알려진 하한($ ext{Ω}(e^{|eta| H})$)과 최신 상한($O(e^{2|eta| H})$) 사이에 지수적인 격차가 존재함을 보여주었습니다. 저자들은 이 격차를 좁히기 위해 엔트로피 기준에 맞게 조정된 KL 기반 탐사 보너스를 활용하는 순방향 모델 기반 알고리즘을 제안합니다.

핵심 포인트

• 엔트로피적 위험 측정치를 이용한 유한 지평선 강화학습의 최적 정책 식별이 목표입니다.
• 기존 연구는 샘플 복잡도에 있어 하한과 상한 사이에 $ ext{Ω}(e^{|eta| H})$와 $O(e^{2|eta| H})$라는 지수적 격차를 발견했습니다.
• 저자들은 이 격차를 줄이기 위해 KL 기반 탐사 보너스를 활용하는 순방향 모델 기반 알고리즘을 제안합니다.
• 새로운 기술적 혁신으로, 지수적 효용의 매끄러움 특성을 이용해 더 날카로운 집중 경계를 도출하고 하한과 일치하는 샘플 복잡도를 얻는 정지 규칙을 제시했습니다.