PIVOT: 온라인 교사 수정을 통한 점진적 개입

요약

본 논문은 희소한 피드백으로 인해 제한되는 RLVR(Reinforcement Learning from Verifiable Rewards)의 한계를 극복하기 위해 PIVOT을 제안합니다. PIVOT은 교사가 생성한 수정 사항을 학생의 추론 과정에 삽입하고, 여기에 토큰 수준 KL 감독을 적용하는 방식입니다. 이 방법은 논리 게임 및 수학적 추론 벤치마크에서 기존 대비 높은 성능 향상을 입증했습니다.

핵심 포인트

• RLVR은 어려운 추론 작업에서 희소한 피드백으로 인해 학습 신호가 부족합니다.
• PIVOT은 교사 수정 사항 삽입과 토큰 수준 KL 감독을 결합하여 개입 효과를 높입니다.
• 두 메커니즘(궤적/토큰)의 조합이 단독 사용보다 필수적임을 보여줍니다.
• 논리 게임에서 mean avg@8 성능이 19.5%에서 35.6%로 크게 증가했습니다.