시간적 근접성을 넘어: 강화학습에서 크레딧 할당을 위한 설명 가능한 세계 모델

요약

본 논문은 생성형 추천 시스템의 최적화를 위해 강화학습(RL)에 설명 가능한 세계 모델(EWM)을 제안합니다. EWM은 설명을 활용하여 최종 결과에 기여한 초기 이벤트를 식별하는 귀인 프레임워크입니다. 이를 통해 시간적으로 멀리 떨어진 중요한 행동에도 효과적으로 보상을 할당할 수 있음을 입증했습니다.

핵심 포인트

• EWM은 설명(explanation)을 학습 신호로 사용하여 크레딧 할당 문제를 해결합니다.
• 전통적인 RL의 시간적 근접성 한계를 극복하고 장기 의존성을 개선합니다.
• 다양한 벤치마크에서 EWM이 PPO, LaRe 등 기존 방법보다 우수한 성능을 보였습니다.