ResRL: LLM 추론 능력 강화 및 분산성 보존을 위한 부정 샘플 투영 잔차 강화학습

요약

본 논문은 LLM의 추론 능력 향상과 생성 다양성 보존이라는 상충되는 목표를 해결하기 위해 '부정 샘플 투영 잔차 강화학습(ResRL)'을 제안합니다. ResRL은 부정 토큰의 숨겨진 표현을 저랭크 양성 하위 공간에 투영하고, 이 투영 잔차를 활용하여 부정 기울기를 조절함으로써 추론 능력을 높이면서도 다양성을 유지합니다. 다양한 벤치마크에서 기존 방법(NSR)보다 우수한 성능을 입증했습니다.

핵심 포인트

• ResRL은 LLM의 추론 능력 향상과 생성 다양성 보존이라는 두 가지 목표를 동시에 달성하는 새로운 강화학습 프레임워크입니다.
• 핵심 메커니즘은 부정 토큰 표현을 저랭크 양성 하위 공간에 투영하고, 그 잔차(projection residuals)를 활용하여 모델의 기울기를 조절하는 것입니다.
• 이 방법은 기존의 Negative Sample Reinforcement (NSR)보다 우수한 성능을 보여주었으며, 수학, 코드 생성 등 다양한 작업에서 효과적입니다.