점유율 기반 보상 설계 (Occupancy Reward Shaping)로 오프라인 RL 개선

요약

오프라인 환경에서 목표 지향적 행동을 학습할 때, 특정 행동과 장기적인 결과 사이의 시간 지연(temporal lag)으로 인해 '신용 할당(credit assignment)' 문제가 발생합니다. 본 논문은 생성 모델 기반의 세계 모델(world models)에 저장된 시간 정보를 활용하여 이 문제를 해결하는 새로운 방법인 Occupancy Reward Shaping (ORS)을 제안합니다. ORS는 최적 정책을 변경하지 않으면서도 희소 보상 환경에서 성능을 획기적으로 개선하며, 로봇 공학 및 핵융합 제어와 같은 실제 복잡한 작업에

핵심 포인트

• Occupancy Reward Shaping (ORS)은 세계 모델의 점유 측정(occupancy measure)으로부터 시간적 기하학 정보를 추출하여 보상 함수를 설계합니다.
• 제안된 ORS 방법은 최적 정책을 변경하지 않음이 수학적으로 증명되었으며, 13가지 장기 지평선 (long-horizon) 로코모션 및 조작 작업에서 평균 2.2배의 성능 향상을 보였습니다.
• 실제 적용 사례로, ORS는 토카막(Tokamak) 제어와 같은 핵융합 관련 3가지 제어 태스크에서도 효과적임을 입증했습니다.