OR Else: 정책 최적화(Policy Optimization)를 위한 미분 가능한 신뢰 영역(Differentiable Trust

요약

LLM 사후 학습 시 PPO 및 GRPO의 클리핑 목적 함수 문제를 해결하기 위한 새로운 'Output Reset(OR)' 기법을 제안합니다. 연구 결과, PPO-OR은 보상 점수 향상에 효과적이었으나 GRPO-OR은 보상 이득보다는 학습 안정성 측면에서 차이를 보였습니다.

핵심 포인트

• 클리핑 목적 함수의 급격한 도함수 변화를 해결하기 위한 OR 규칙 제안
• PPO-OR 적용 시 PPO-clip 대비 평균 보상 모델 점수 향상 확인
• GRPO-OR은 보상 점수 이득보다 낮은 분산과 오버슈트 감소 효과를 보임
• Llama-3.2-1B-Instruct 및 Anthropic hh-rlhf 데이터셋을 통한 검증