RL로 학습된 추론 모델의 과도한 사고(Overthinking)를 줄이기 위한 동적 롤아웃 편집(Dynamic Rollout Editing)

요약

RL 기반 추론 모델이 정답 도출 후에도 불필요한 사고를 지속하는 'Overthinking' 현상을 분석하고, 이를 해결하기 위한 Dynamic Rollout Editing(DRE) 기법을 제안합니다. DRE는 학습 과정에서 성공적인 궤적 내 불필요한 추론 부분을 편집하여 모델이 효율적인 사고 과정을 학습하도록 유도합니다.

핵심 포인트

• RL 학습 시 정답 도출 후에도 사고가 지속되는 Overthinking 문제 정의
• GRPO의 시퀀스 수준 신용 할당이 과도한 사고를 심화시키는 원인 분석
• Dynamic Rollout Editing(DRE)을 통한 학습 시간 내 개입 방식 제안
• 검증된 접두사는 보존하고 불필요한 사고 과정은 편집하여 선호 신호 조절
• 다양한 작업 실험을 통해 DRE의 효과 및 효율적 추론 능력 입증