다목적 강화학습에 대한 보상무관 관점

요약

본 논문은 다목적 강화학습(MORL) 문제를 해결하기 위해 보상무관 강화학습(RFRL)을 활용하는 새로운 알고리즘적 관점을 제시합니다. 기존 MORL 접근법이 가중치 기반의 단일 정책 학습에 의존했던 것과 달리, RFRL은 모든 가능한 보상 함수에 대해 최적의 정책을 학습할 수 있어 미지의 사용자 선호도 처리에 자연스럽게 적합합니다. 연구진은 RFRL의 학습 목표를 MORL에 통합하여 지식 공유를 극대화하고, 환경 관련 부분에 집중하는 탐색 전략을 도입함으로써 기존 방법들보다 우수한 성능과 데이터 효율성을 달성했음을 입증했습니다.

핵심 포인트

• MORL 문제를 해결하기 위해 보상무관 강화학습(RFRL)을 활용하는 새로운 프레임워크를 제안함.
• RFRL은 모든 가능한 보상 함수에 대해 최적 정책을 학습하므로, 미지의 사용자 선호도 처리에 매우 효과적임.
• 제안된 방법은 RFRL의 학습 목표를 MORL에 통합하여 지식 공유를 개선하고 성능을 향상시킴.
• 선호도 유도 탐색 전략(preference-guided exploration strategy)을 도입하여 환경 관련 부분에 학습을 집중시킴.
• 다양한 MO-Gymnasium 작업에서 기존 최첨단 MORL 방법들보다 우수한 성능과 데이터 효율성을 입증함.