ReSum: 강화학습을 활용하여 LLM 추론 및 요약 능력 시너지화

요약

본 논문은 LLM의 추론 및 요약 능력을 결합한 새로운 RLVR 프레임워크인 ReSum을 제안합니다. ReSum은 모델이 자체 요약을 통해 추론 궤적을 압축하고 조직화하도록 유도하여, 기존 방법의 컨텍스트 비효율성 문제를 해결합니다. 실험 결과, ReSum은 성능 향상과 함께 롤아웃 길이 감소라는 이점을 입증했습니다.

핵심 포인트

• ReSum은 자체 요약을 통해 LLM 추론 궤적을 압축하고 조직화하는 새로운 RLVR 프레임워크입니다.
• 자체 요약 과정은 토큰 엔트로피를 낮춰 생성 안정성을 높이고 오류 전파를 완화합니다.
• 요약 인식 적응형 롤아웃 메커니즘과 어드밴티지를 설계하여 비교적 성능 향상 및 길이 감소 효과를 보였습니다.