벡터 정책 최적화 (Vector Policy Optimization): 다양성을 위한 학습이 테스트 시간 탐색 (Test-Time

요약

LLM이 추론 시간 탐색(test-time search)에서 필요한 다양성을 확보할 수 있도록 돕는 새로운 RL 알고리즘인 VPO를 제안합니다. 기존의 스칼라 보상 최적화 방식 대신 벡터 보상을 활용하여 다양한 솔루션을 생성하도록 모델을 학습시킵니다.

핵심 포인트

• VPO는 다양한 다운스트림 보상 함수를 예측하도록 정책을 학습함
• 기존 GRPO의 어드밴티지 추정기를 대체하여 벡터 보상 공간 활용 가능
• 테스트 시간 탐색 시 기존 스칼라 RL 베이스라인보다 우수한 성능 증명
• 진화적 탐색 환경에서 기존 모델이 해결 못 하는 문제 해결 가능