지수 효용을 위한 강화학습: 할인된 MDP에서의 알고리즘 및 수렴성

요약

본 논문은 할인된 마르코프 결정 과정(MDP)에서 지수 효용을 최대화하는 강화학습(RL)의 이론적 문제를 다룹니다. 기존 가치 기반 알고리즘의 부족함을 해결하기 위해, 연구진은 고정 위험 회피 설정 하에 두 가지 Q-값 스타일 확장을 제시합니다. 이 확장들은 각각 $L_ ext{inf}$ 및 sup-log/Thompson 메트릭에서 수축 연산자임을 증명하며, 이를 통해 유도된 탐욕적 정상 정책이 지수 효용 목표를 달성하는 최적의 정상 정책임을 수학적으로 입증합니다.

핵심 포인트

• 할인된 MDP에서의 지수 효용 최적화는 기존 가치 기반 RL 알고리즘에 이론적 공백을 야기한다.
• 연구진은 고정 위험 회피 설정 하에서 두 가지 Q-값 스타일 확장을 도출했다.
• 이 확장들은 $L_ ext{inf}$ 및 sup-log/Thompson 메트릭 공간에서 수축 연산자임을 수학적으로 증명하였다.
• 유도된 탐욕적 정상 정책은 지수 효용 목표에 대해 최적의 정상 정책임이 입증되었다.