Q-MMR: 재귀적 재가중 및 모멘트 매칭을 통한 오프라인 평가

요약

Q-MMR은 유한 시간 지평 MDP(Markov Decision Process)에서 오프라인 정책 평가를 위한 새로운 이론적 프레임워크입니다. 이 방법은 각 데이터 포인트에 대한 스칼라 가중치를 학습하여, 재가중된 보상이 목표 정책 하에서의 기대 수익을 근사하도록 합니다. 특히, 일반적인 함수 근사에 대해 $Q^ ext{target}$의 실현 가능성만으로 차원과 무관한(dimension-free) 유한 표본 크기 보장을 제시했다는 점이 중요합니다.

핵심 포인트

• Q-MMR은 오프라인 RL 환경에서 정책 평가를 위한 새로운 이론적 프레임워크입니다.
• 데이터 포인트별 스칼라 가중치를 학습하여 목표 정책 하의 기대 수익을 근사합니다.
• 가중치 학습은 값 함수 판별자 클래스(value-function discriminator class)에 대한 모멘트 매칭 목적 함수를 통해 상향식으로 이루어집니다.
• 일반적인 함수 근사에 대해 $Q^ ext{target}$의 실현 가능성만으로 차원과 무관한 유한 표본 크기 보장을 확립했습니다.