Reasoning Arena: 검증 가능한 보상이 부족할 때의 추론 토너먼트 (Trace Tournaments)

요약

검증 가능한 보상이 동일하여 학습 신호가 부족한 문제를 해결하기 위해 Reasoning Arena 프레임워크를 제안합니다. 판사 시스템을 통해 추론 과정 간의 세밀한 선호도를 비교하는 '추론 토너먼트'를 구성하여 효율적인 강화학습을 가능하게 합니다.

핵심 포인트

• 비다양성 보상 그룹 문제를 해결하는 적응형 학습 프레임워크 제안
• 추론 과정 간 일대일 비교를 통해 세밀한 상대적 보상 신호 생성
• Bradley-Terry 모델을 활용하여 확장 가능한 강화학습 통합 구현
• 수학 및 코딩 벤치마크에서 RLVR 대비 성능 7.6% 향상
• 학습 속도 최대 41% 가속 및 생성 연산량 약 50% 절감