엔트로피 정규화된 Actor-Critic에서 혼합 정책 재검토

요약

본 연구는 연속 행동 강화학습에서 사용되는 혼합 정책(Mixture policies)의 활용도를 높이는 것을 목표로 합니다. 기존에는 복잡성 대비 실제 이점이 불분명했던 혼합 정책에 대해, 저분산 리매개변수화 트릭이 부족하다는 근본적인 문제를 지적합니다. 이를 해결하기 위해 주변화된 리매개변수화(MRP) 추정기를 제안하며, 이것이 표준 우도비 접근 방식보다 낮은 분산을 제공함을 증명했습니다. 실험 결과, MRP 혼합 정책은 기존의 가우시안 정책과 동등하거나 더 나은 성능을 보여주며, 실용적인 강화학습 도구로 자리매김할 수 있음을 입증합니다.

핵심 포인트

• 혼합 정책은 연속 행동 RL에서 이론적 유연성을 제공하지만, 실제 구현에 어려움이 있었다.
• 핵심 문제는 혼합 정책에 대한 저분산 리매개변수화 트릭의 부재였으며, 이는 가우시안 정책 대비 단점이었다.
• 저자들은 주변화된 리매개변수화(MRP) 추정기를 제안하여 이 문제를 해결하고 낮은 분산을 달성했다.
• 실험적으로 MRP 혼합 정책은 표준 우도비 접근 방식보다 성능이 뛰어나며, 가우시안 정책과 경쟁할 만한 실질적인 이점을 제공한다.