대조적 근사 정책 최적화 (Contrastive Proximal Policy Optimisation)를 통한 자기지도 온폴리시 강화학습

요약

기존의 대조적 강화학습(CRL)은 주로 오프폴리시 방식과 연속적 행동 공간에 국한되어 있었으나, 본 논문은 이를 온폴리시 방식으로 확장한 CPPO를 제안합니다. CPPO는 보상 함수나 리플레이 버퍼 없이 대조적 Q-값에서 정책 이점을 직접 도출하여 표준 PPO 목적 함수로 최적화합니다. 실험 결과, CPPO는 이산적/연속적 환경 및 단일/다중 에이전트 작업 전반에서 기존 CRL을 능가하며 수작업 보상을 사용하는 PPO와 대등하거나 더 높은 성능을 보였습니다.

핵심 포인트

• CPPO는 보상 함수 설계 없이 자기지도 학습을 통해 목표 조건부 Q-값을 학습하는 온폴리시 알고리즘입니다.
• 기존 CRL의 한계였던 오프폴리시 의존성과 연속적 행동 공간 국한 문제를 해결하여 이산적 환경에서도 작동합니다.
• 리플레이 버퍼를 필요로 하지 않으며 표준 PPO 목적 함수를 활용하여 정책을 최적화합니다.
• 18개 작업 중 14개에서 기존 CRL 베이스라인을 능가하며, 12개 작업에서는 수작업으로 설계된 조밀한 보상을 사용하는 PPO와 대등하거나 우수한 성능을 입증했습니다.