Bellman 완결성 없이 수행하는 적합 점유율 비율 평가 (Fitted Occupancy-Ratio Evaluation)
요약
오프라인 강화학습의 오프-정책 평가를 위해 Bellman 완결성 가정 없이도 작동하는 FORE(Fitted Occupancy-Ratio Evaluation) 방법을 제안합니다. adjoint Bellman 재귀를 활용하여 할인된 점유율 비율을 추정하며, 이론적 수렴성과 유한 샘플 후회 경계를 입증했습니다.
핵심 포인트
- Bellman 완결성 없이 점유율 비율을 추정하는 FORE 방법론 제안
- adjoint Bellman 재귀를 통한 할인된 점유율 비율의 특징화
- 점유율 비율의 실현 가능성만으로 오프라인 정책 평가 가능성 입증
- KL-수축 특성을 이용한 통계적 오차 및 수렴성 보장
- 보상 재가중 및 이중 강건 추정(Doubly Robust Estimation) 지원
점유율 비율 (Occupancy ratios)은 오프라인 강화학습 (offline reinforcement learning)에서 분포 변화 (distribution shift)를 교정하며, 오프-정책 평가 (off-policy evaluation)의 핵심입니다. 기존의 primal-dual 및 minimax 방법들은 일반적으로 critic 클래스에 대해 점유율 균형 모멘트 (occupancy-balance moments)를 강제함으로써 이러한 비율을 추정합니다. 우리는 adjoint Bellman 재귀 (adjoint Bellman recursion)를 통해 할인된 점유율 비율 (discounted occupancy ratio)을 특징짓는 적합 고정점 방법 (fitted fixed-point method)인 FORE (fitted occupancy-ratio evaluation)를 제안합니다. 각 반복 단계에서 FORE는 1단계 전이 데이터 (one-step-transition data)에 대해 단일 수준 밀도 비율 목적 함수 (single-level density-ratio objective)를 해결하며, 이를 통해 adjoint Bellman 이미지를 Kullback--Leibler (KL) 발산에 대해 log-ratio 클래스로 투영합니다. 일반적으로 Bellman 완결성 (Bellman completeness) 또는 투영 연산자 안정성 (projected-operator stability)과 함께 가치 함수 실현 가능성 (value-function realizability)을 요구하는 fitted Q-evaluation 분석과 달리, 우리의 핵심 근사 조건은 할인된 점유율 비율 자체의 실현 가능성 (realizability)뿐입니다. 이 조건 하에서, adjoint Bellman 연산자가 KL-수축 (KL-contraction)이라는 특성 덕분에, 모집단 KL-투영 재귀 (population KL-projected recursion)는 상대 엔트로피 (relative entropy)에 대해 실제 비율로 수축합니다. 경험적 재귀 (empirical recursion)에 대해, 우리는 log-ratio 근사 오차와 비율 가설 클래스의 복잡도에 의해 결정되는 통계적 오차까지 KL에서 수렴을 보장하는 유한 샘플 후회 경계 (finite-sample regret bounds)를 설정합니다. 적합된 비율은 보상 재가중 (reward reweighting), 점유율 가중 fitted Q-evaluation (occupancy-weighted fitted Q-evaluation), 그리고 적합된 비율과 적합된 Q-함수를 결합한 이중 강건 추정 (doubly robust estimation)을 통한 직접적인 가치 추정을 지원합니다. 종합하면, 이러한 결과들은 할인된 점유율 비율의 실현 가능성 (discounted occupancy-ratio realizability)이 어떠한 완결성 가정 없이도 오프라인 정책 평가 (offline policy evaluation)를 위한 충분 조건임을 밝혀냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기