일반 유틸리티를 이용한 샘플 효율적인 강화학습: 신경 이중 비평가(Neural Dual Critics) 활용

요약

본 논문은 일반 유틸리티(General Utility)를 가진 강화학습 환경에서 효율적인 샘플링을 위한 새로운 액터-비평가 방법을 제안합니다. 이 방법은 신경 비평가를 사용하여 상태-행동 쌍의 함수로 유사 보상을 직접 학습하며, 다단계 몬테카를로 기법으로 편향을 제어합니다. 분석 결과, 정책 전이 및 이중 안정성 조건 하에 글로벌 수렴 속도 $\tilde{O}(T^{-1/2})$를 달성함을 입증했습니다.

핵심 포인트

• 일반 유틸리티 RL 환경을 위한 새로운 액터-비평가 방법론 제시
• 신경 비평가를 활용하여 유사 보상을 직접 학습함으로써 효율성을 높임
• 다단계 몬테카를로 기법으로 편향을 제어하고 수렴 속도를 개선함
• 정책 전이 및 이중 안정성 조건 하에 $\tilde{O}(T^{-1/2})$의 글로벌 수렴 달성