Muon은 대규모 사전 학습에서 AdamW와 경쟁력이 있지만, 강화학습(RL) 후속 훈련에서의 가치는 여전히 불분명합니다. 우리는 Qwen2.5-0.5B-Instruct를 사용하여 ALFWorld에서 Muon의 순수 형태를 AdamW와 비교하는 단일 시드 매칭 비교를 통해 희소 보상 에이전트 기반 RL에 적용했습니다. Group-in-Group Policy Optimization (GiGPO) 하에서, 숨겨진 가중치 행렬에만 Muon을 적용했을 때 최종 윈도우 검증 성공률이 0.290에서 0.546으로 (+88%) 상승했습니다. 고속 AdamW 컨트롤은 업데이트 후에도 성공률을 유지하지 못했습니다. 그 효과는 어드밴티지 추정기(advantage estimator)와 학습률에 따라 달라집니다. $3 ext{e-}5$에서 Muon은 GRPO를 0.161에서 0.268로 개선했지만, GraphGPO의 후반 윈도우 간격은 포화 상태 근처에서 좁아졌습니다. $1 ext{e-}5$에서 GraphGPO Muon은 0.901에 도달하며 정규화된 검증 AUC를 0.399에서 0.556으로 높였고, 각각 30 및 60 업데이트 시점에서 0.5와 0.75의 성공률에 도달했습니다. 이러한 탐색적 결과들은 Muon이 에이전트 기반 RL에 도움이 될 수 있음을 보여주며, 정책 최적화기(policy optimizer), 어드밴티지 추정기, 학습률을 함께 연구하도록 동기를 부여합니다. 다중 시드 및 교차 작업 검증은 여전히 미개척 분야입니다.