Bellman 완결성 없이 수행하는 적합 점유율 비율 평가 (Fitted Occupancy-Ratio Evaluation)

원문 발행 2026. 07. 07. 02:53원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

오프라인 강화학습의 오프-정책 평가를 위해 Bellman 완결성 가정 없이도 작동하는 FORE(Fitted Occupancy-Ratio Evaluation) 방법을 제안합니다. adjoint Bellman 재귀를 활용하여 할인된 점유율 비율을 추정하며, 이론적 수렴성과 유한 샘플 후회 경계를 입증했습니다.

핵심 포인트

Bellman 완결성 없이 점유율 비율을 추정하는 FORE 방법론 제안
adjoint Bellman 재귀를 통한 할인된 점유율 비율의 특징화
점유율 비율의 실현 가능성만으로 오프라인 정책 평가 가능성 입증
KL-수축 특성을 이용한 통계적 오차 및 수렴성 보장
보상 재가중 및 이중 강건 추정(Doubly Robust Estimation) 지원

점유율 비율 (Occupancy ratios)은 오프라인 강화학습 (offline reinforcement learning)에서 분포 변화 (distribution shift)를 교정하며, 오프-정책 평가 (off-policy evaluation)의 핵심입니다. 기존의 primal-dual 및 minimax 방법들은 일반적으로 critic 클래스에 대해 점유율 균형 모멘트 (occupancy-balance moments)를 강제함으로써 이러한 비율을 추정합니다. 우리는 adjoint Bellman 재귀 (adjoint Bellman recursion)를 통해 할인된 점유율 비율 (discounted occupancy ratio)을 특징짓는 적합 고정점 방법 (fitted fixed-point method)인 FORE (fitted occupancy-ratio evaluation)를 제안합니다. 각 반복 단계에서 FORE는 1단계 전이 데이터 (one-step-transition data)에 대해 단일 수준 밀도 비율 목적 함수 (single-level density-ratio objective)를 해결하며, 이를 통해 adjoint Bellman 이미지를 Kullback--Leibler (KL) 발산에 대해 log-ratio 클래스로 투영합니다. 일반적으로 Bellman 완결성 (Bellman completeness) 또는 투영 연산자 안정성 (projected-operator stability)과 함께 가치 함수 실현 가능성 (value-function realizability)을 요구하는 fitted Q-evaluation 분석과 달리, 우리의 핵심 근사 조건은 할인된 점유율 비율 자체의 실현 가능성 (realizability)뿐입니다. 이 조건 하에서, adjoint Bellman 연산자가 KL-수축 (KL-contraction)이라는 특성 덕분에, 모집단 KL-투영 재귀 (population KL-projected recursion)는 상대 엔트로피 (relative entropy)에 대해 실제 비율로 수축합니다. 경험적 재귀 (empirical recursion)에 대해, 우리는 log-ratio 근사 오차와 비율 가설 클래스의 복잡도에 의해 결정되는 통계적 오차까지 KL에서 수렴을 보장하는 유한 샘플 후회 경계 (finite-sample regret bounds)를 설정합니다. 적합된 비율은 보상 재가중 (reward reweighting), 점유율 가중 fitted Q-evaluation (occupancy-weighted fitted Q-evaluation), 그리고 적합된 비율과 적합된 Q-함수를 결합한 이중 강건 추정 (doubly robust estimation)을 통한 직접적인 가치 추정을 지원합니다. 종합하면, 이러한 결과들은 할인된 점유율 비율의 실현 가능성 (discounted occupancy-ratio realizability)이 어떠한 완결성 가정 없이도 오프라인 정책 평가 (offline policy evaluation)를 위한 충분 조건임을 밝혀냅니다.

AI 자동 생성 콘텐츠

원문 바로가기

Bellman 완결성 없이 수행하는 적합 점유율 비율 평가 (Fitted Occupancy-Ratio Evaluation)

요약

핵심 포인트

댓글