Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability

요약

본 논문은 대형 언어 모델(LLM) 추론 개선에 사용되는 강화학습(RL)의 역할을 재고합니다. 연구 결과, RL이 새로운 능력을 가르치기보다는 기본 모델이 이미 가진 해법에 대한 확률 질량을 특정 지점에서 '희소하게' 보정하는 역할임을 밝혀냈습니다. 이로 인해 LLM 추론 개선은 능력 획득(Capability Acquisition)의 문제가 아니라, 불확실성이 높은 결정 지점에서의 정책 선택 최적화 문제임이 강조됩니다.

핵심 포인트

• RL은 LLM에 새로운 능력을 가르치기보다, 기본 모델이 가진 해법에 대한 확률 질량을 재분배하는 역할을 한다.
• RL의 유익한 영향은 토큰 수준 분석 결과, 불확실성이 높은 고 엔트로피 결정 지점(sparse policy selection)에서 집중된다.
• 전체 성능 향상을 위해서는 전체 텍스트를 보정할 필요 없이, 영향을 받는 소수의 위치(1~3%의 토큰)에만 표적 보정을 가하면 충분하다.
• 제안된 방법인 ReasonMaxxer는 RL-free 접근 방식으로, 엔트로피 게이트가 있는 결정 지점에서만 대조적 손실을 적용하여 기존 RL 성능과 동등하거나 그 이상의 결과를 달성한다.