표현 인지형 이득 추정: 보상 모델은 스칼라 출력 이상의 정보를 제공합니다

요약

RLHF 과정에서 스칼라 보상의 한계를 극복하기 위해 보상 모델(RM)의 은닉 상태를 활용하는 GraphAE 기법을 제안합니다. 그래프 기반 이득 추정을 통해 응답 간의 유사성을 반영함으로써 더 정교한 선호도 학습을 가능하게 합니다.

핵심 포인트

• 스칼라 보상 대신 RM의 은닉 상태를 활용한 풍부한 정보 활용
• GraphAE를 통한 그래프 기반의 정교한 이득 추정 방식 제안
• GRPO, GSPO, RLOO 등 기존 RL 알고리즘과 원활한 통합 가능
• Arena-Hard, AlpacaEval 등 주요 벤치마크에서 성능 향상 입증