Muon은 에이전트 기반 강화학습(RL)에 어떤 도움이 되는가?

요약

본 논문은 Muon을 사용하여 에이전트 기반 강화학습(RL)의 희소 보상 환경에 적용한 연구 결과를 제시합니다. Qwen2.5-0.5B-Instruct 모델과 ALFWorld에서 GiGPO 및 GraphGPO 등의 정책 최적화기를 활용하여, Muon이 AdamW 대비 높은 성능 향상을 보여주었음을 입증했습니다.

핵심 포인트

• Muon은 에이전트 기반 RL의 희소 보상 환경에 효과적으로 적용될 수 있다.
• GiGPO 하에서 Muon을 사용했을 때 최종 검증 성공률이 크게 상승했다.
• 학습률과 어드밴티지 추정기 등 다양한 요소와 함께 연구할 필요가 있다.