Latent-GRPO: 잠재적 추론을 위한 그룹 상대 정책 최적화

요약

본 논문은 기존의 지도 학습에 의존하고 불안정한 강화학습 기반의 잠재적 추론(latent reasoning) 문제를 해결하기 위해 Latent-GRPO를 제안합니다. Latent-GRPO는 그룹 상대 정책 최적화(GRPO)를 잠재 공간에 효과적으로 적용하며, 내재적 다양체 부재, 탐색-최적화 불일치, 잠재 혼합물 비폐쇄성 등 세 가지 근본적인 병목 현상을 해결합니다. 실험 결과, Latent-GRPO는 다양한 난이도의 벤치마크에서 기존 방법 대비 높은 성능 향상과 함께 추론 사슬을 크게 단축하는 효율성을 입증했습니다.

핵심 포인트

• 잠재적 추론은 명시적 추론보다 효율적이지만, 강화학습 적용 시 불안정성이 높다는 문제가 있다.
• Latent-GRPO는 그룹 상대 정책 최적화(GRPO)를 잠재 공간에 성공적으로 적용하여 안정성을 확보했다.
• 제안된 방법은 내재적 다양체 부재, 탐색-최적화 불일치, 잠재 혼합물 비폐쇄성 등 세 가지 핵심 문제를 해결한다.
• 실험 결과, Latent-GRPO는 다양한 난이도의 벤치마크에서 기존 대비 높은 성능 향상과 추론 사슬 단축 효과를 보였다.