행동 제어를 위한 벡터 유도 정책 최적화(VSPO) 방법론

요약

언어 모델이 답변의 상세함이나 전문성 같은 부차적인 행동 선호도를 학습할 때 발생하는 희소 보상 문제를 해결하기 위한 VSPO(Vector-Steered Policy Optimization) 방법론을 제안합니다. VSPO는 스티어링 벡터를 사용하여 다양한 강도로 롤아웃을 샘플링하도록 GRPO를 수정하며, 이를 통해 모델이 스티어링 벡터를 내재화하는 온-정책 잠재 자기 증류 효과를 얻습니다. 실험 결과, VSPO는 작업 정확도를 유지하면서도 목표 행동에 대한 제어력을 기존 방식보다 효과적으로 개선함을 입증했습니다.

핵심 포인트

• 희소한 행동 보상 병목 현상을 해결하기 위해 스티어링 벡터를 활용한 VSPO 방법론 도입
• 다양한 스티어링 강도로 롤아웃을 샘플링하여 희귀 행동을 업샘플링하고 데이터 다양성 확보
• 온-정책 잠재 자기 증류(On-policy Latent Self-distillation)를 통한 정책 최적화 가속화
• 기존의 보상 형성(Reward Shaping) 방식보다 우수한 반복 복잡도(Iteration Complexity) 증명
• 설명 전문성, 확신 표현, 강건성, 상세함 등 다양한 행동 제어 목표에서 성능 검증