Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit

요약

본 논문은 기존 강화 학습(RL) 기반 LLM 미세 조정 방법론인 GRPO의 한계를 지적하며, 오직 긍정적인 롤아웃 데이터만을 사용하여 정책을 최적화하는 Positive-Only Policy Optimization (POPO) 기법을 제안합니다. POPO는 제한된 중요 샘플링과 모멘텀 기반 적응 법칙 및 유사성 패널티 항을 결합하여 학습 안정성을 높입니다. 실험 결과, Qwen-Math-7B 모델을 사용하여 수학적 벤치마크(AIME 2025)에서 GRPO보다 우수한 성능을 달성하며 POPO의 효과를 입증했습니다.

핵심 포인트

• 기존 RL 기반 LLM 미세 조정 방법론인 GRPO는 부정적 롤아웃에 의존하는데, 이는 희소 이진 보상 환경에서 의미 있는 신호를 손상시킬 위험이 있습니다.
• 제안된 POPO(Positive-Only Policy Optimization)는 오직 양성 롤아웃 데이터만을 사용하여 정책을 최적화하며, 분할 부정적 롤아웃을 사용하지 않습니다.
• POPO의 안정성을 위해 모멘텀 기반 적응 법칙이 적용된 시아네스 정책 네트워크와 KL-발산 대신 제한된 유사성 패널티 항을 도입했습니다.
• 실험적으로 POPO가 GRPO보다 우수한 성능을 보여주었으며, 특히 Qwen-Math-7B 모델의 AIME 2025 점수에서 그 효과를 입증했습니다.