UBP2: 효율적인 선호 기반 강화학습 (Preference-based Reinforcement Learning)을 위한 불확실성 균형 선호

요약

UBP2는 보상, 역학, 가치 함수의 불확실성을 공동으로 추론하여 탐색을 능동적으로 유도하는 모델 기반 선호 기반 강화학습 방법론입니다. 앙상블 모델을 통해 활용과 정보 획득 사이의 트레이드오프를 최적화하며, 기존 방식보다 높은 샘플 효율성을 증명했습니다.

핵심 포인트

• 보상, 역학, 가치 함수의 불확실성을 통합하여 능동적 탐색 유도
• 별도의 탐색 휴리스틱 없이 활용과 정보 획득 간의 트레이드오프 달성
• 유한 및 무한 지평 설정 모두에서 하선형 후회(sublinear regret) 보장
• Meta-World 벤치마크에서 기존 모델 프리 및 모델 기반 방식 대비 높은 효율성 입증