Policy Hessian Decomposition을 통한 할인된 MDP를 위한 2차 Actor-Critic 방법론

요약

본 연구는 강화학습(RL)에서 발생하는 가치 근사 문제를 해결하기 위해 2차 최적화 기반의 Actor-Critic 방법론을 제안합니다. 기존 RL 방법들이 사용하는 1차 업데이트와 달리, 본 접근법은 목적 함수의 곡률 정보를 활용하여 수렴 속도를 높입니다. 특히, Critic이 Actor보다 빠르게 진화하는 '2-타임스케일' 프레임워크를 가정하고 Hessian-vector product (HVP) 계산을 통해 계산 효율적이고 안정적인 2차 업데이트 방법을 공식화했습니다.

핵심 포인트

• 강화학습(RL)의 가치 근사 문제를 해결하기 위해 2차 최적화 기반 Actor-Critic 방법론을 도입함.
• 기존 1차 업데이트 방식의 한계를 극복하고, 목적 함수의 곡률 정보를 활용하여 수렴 속도를 개선함.
• Actor와 Critic이 다른 시간 스케일에서 진화하는 '2-타임스케일' 프레임워크를 통해 안정적인 근사 조건을 확립함.
• Hessian-vector product (HVP) 계산을 활용함으로써, 할인된 보상 설정 하에서도 계산 효율적이고 안정적인 2차 업데이트 방법을 제시함.