점유율 기반 보상 설계 (Occupancy Reward Shaping)로 오프라인 RL 개선

점유율 기반 보상 설계 (Occupancy Reward Shaping, ORS)

💡 배경: 오프라인 RL의 신용 할당 문제

목표 지향적인 행동을 데이터로부터 학습하는 오프라인 강화학습(Offline Reinforcement Learning) 환경에서 가장 큰 난제 중 하나는 '신용 할당(Credit Assignment)' 문제입니다. 에이전트가 수행한 특정 행동과 그에 따른 장기적 결과 사이에는 시간적 지연(temporal lag)이 존재하기 때문에, 어떤 행동이 성공적인 목표 달성에 기여했는지 정확히 판단하기 어렵습니다.

🧠 세계 모델을 활용한 시간 정보 추출

최근의 생성형 세계 모델(Generative World Models)은 에이전트가 방문할 미래 상태 분포를 포착함으로써, 시스템에 내재된 시간적 정보를 담고 있습니다. 본 논문은 이 잠재적인 시간 정보를 어떻게 효과적으로 추출하여 신용 할당 문제를 해결할 수 있을지에 초점을 맞춥니다.

📐 Occupancy Reward Shaping (ORS)의 핵심 원리

저자들은 세계 모델에 저장된 점유 측정(occupancy measure)이 사실상 세상의 근본적인 기하학적 구조를 인코딩하고 있다고 가정합니다. 이 가정을 바탕으로, 최적 수송 이론(Optimal Transport)을 활용하여 학습된 점유 측정으로부터 목표 도달 정보를 포착하는 보상 함수를 추출해냅니다. 이것이 바로 Occupancy Reward Shaping (ORS)입니다.

핵심 메커니즘:

1. 점유 측정 분석: 세계 모델에서 환경의 상태 공간에 대한 점유 확률 분포를 학습합니다.
2. 기하학 정보 추출: 최적 수송 이론을 적용하여 이 점유 측정으로부터 목표 달성에 필요한 '시간적 기하학(temporal geometry)' 정보를 뽑아냅니다.
3. 보상 함수 설계: 추출된 기하학 정보를 활용하여 원래의 보상 함수를 효과적으로 '형태화(shaping)'합니다.

✨ ORS의 장점과 성과

1. 정책 불변성 (Policy Invariance): 가장 중요한 점은, ORS가 최적 정책을 변경하지 않는다는 것이 수학적으로 증명되었다는 것입니다. 즉, 성능 향상은 오직 학습 과정의 효율성을 높이는 보조적인 역할을 할 뿐입니다.
2. 압도적인 성능 개선: 13가지 종류의 다양한 장기 지평선(long-horizon) 로코모션 및 조작 작업에서 평균적으로 2.2배에 달하는 성능 향상을 입증했습니다. 이는 희소한 보상 환경(sparse reward settings)에서 특히 강력함을 의미합니다.
3. 실제 세계 적용: 연구진은 이 방법을 실제 복잡계 제어 문제인 핵융합 발전의 토카막(Tokamak) 제어 태스크 3가지에 성공적으로 적용하여 그 효과를 입증했습니다. 이는 ORS가 단순한 시뮬레이션 환경을 넘어, 고도의 물리적 이해가 필요한 실세계 시스템에도 유효함을 보여줍니다.

결론적으로, ORS는 세계 모델의 잠재된 시간 정보를 활용하여 오프라인 RL의 근본적인 한계를 극복하는 혁신적인 접근법이며, 로봇 공학 및 산업 제어 분야에 큰 기여를 할 것으로 기대됩니다.