미래 정책을 활용한 강화학습 최적화 (NPO)

요약

본 논문은 강화학습(RL)의 성능 향상을 위해 '근접 미래 정책 최적화(NPO)'라는 새로운 혼합 정책 기법을 제안합니다. 기존 방법들이 외부 교사나 과거 궤적에 의존하여 발생하는 분포 차이 또는 품질 한계 문제를 해결하고자 합니다. NPO는 현재 학습 중인 정책의 '근접한 미래 시점 체크포인트'를 활용하여 보조 궤적을 생성하며, 이는 현재 정책보다 강력하면서도 외부 소스보다 가까운 장점을 가집니다. 이를 통해 효과적인 학습 신호 $\mathcal{S} = Q/V$를 극대화하고, 실제 모델(Qwen3-VL-8B-Instruct)에서

핵심 포인트

• NPO는 현재 정책의 근접 미래 체크포인트를 활용하여 보조 궤적을 생성하는 혼합 정책 기법입니다.
• 이 방법은 외부 교사 기반 방식보다 분포 차이가 적고, 과거 재현 방식보다 높은 학습 품질을 제공합니다.
• AutoNPO는 온라인 학습 신호를 통해 개입 시점을 자동으로 결정하고 최적의 가이드 체크포인트를 선택하여 NPO를 개선했습니다.
• Qwen3-VL-8B-Instruct 모델에 적용했을 때, NPO는 평균 성능을 57.88에서 62.84로 향상시키고, AutoNPO는 63.15까지 끌어올려 최종 성능 한계를 높였습니다.