RRC: 순위 기반 보상 구축을 통한 LLM 강화학습 내 생성형 보상 모델의 잠재력 활용

요약

생성형 보상 모델의 잠재력을 강화학습(RL)에서 극대화하기 위한 RRC(Ranking-based Reward Construction) 방법론을 제안합니다. 기존 스칼라 점수 방식과 생성형 모델 간의 불일치를 해결하기 위해 순위 기반 보상을 구축하여 학습 성능을 개선합니다.

핵심 포인트

• 생성형 보상 모델과 기존 RL 알고리즘 간의 패러다임 불일치 해결
• 자기 경쟁적 순위 지정 및 앵커 가이드 순위 지정 전략 도입
• 상대적 선호 순위를 활용하여 더 효과적인 RL 학습 신호 제공
• 대화 및 추론 벤치마크에서 기존 방식 대비 일관된 성능 향상 입증