벡터 정책 최적화 (Vector Policy Optimization): 다양성을 위한 학습이 테스트 시간 탐색 성능을 향상시킨다

요약

LLM의 추론 시간 탐색 성능을 높이기 위해 다양한 보상 함수를 예측하고 솔루션의 다양성을 확보하는 벡터 정책 최적화(VPO) 알고리즘을 제안합니다. 기존 스칼라 보상 최적화 방식의 한계를 극복하여, 테스트 시간 탐색 시 더 넓은 탐색 공간을 제공합니다.

핵심 포인트

• VPO는 벡터 형태의 보상을 활용해 정책의 다양성을 명시적으로 학습함
• 기존 GRPO 방식보다 추론 시간 탐색(Test-time search) 성능이 우수함
• 탐색 예산이 커질수록 기존 스칼라 RL 베이스라인과의 격차가 확대됨
• 진화 탐색 환경에서 기존 모델이 해결하지 못하는 문제를 해결 가능