Critic-Free RLVR에서의 그룹(Groups)에 대한 재고

강화학습 (RL)은 대규모 언어 모델 (LLM)의 사후 학습 (post-training)을 위한 핵심 패러다임이 되었습니다. 기존의 Critic-free RL 방법들은 일반적으로 어드밴티지 (advantage) 계산을 위한 가치 베이스라인 (value baselines)을 추정하기 위해 동일한 질문에 대해 하나의 그룹 형태의 롤아웃 (rollouts)을 생성합니다. 그러나 이러한 설계는 데이터 비효율성, 그룹 동기화 장벽, 그리고 구조화된 롤아웃에 대한 유연성 부족이라는 문제를 겪습니다. 본 연구에서는 "그룹 (group)"의 역할을 재검토하며, 그 근본적인 기능이 단순히 베이스라인을 추정하는 것이 아니라 부정적 샘플 (negative samples)에 대한 잘못된 페널티 (false penalties)를 방지하는 것임을 보여줍니다. 이러한 통찰을 바탕으로, 우리는 안정적인 단일 롤아웃 (single-rollout) 학습을 가능하게 하는 단순하고 효과적인 전략인 부정적 토큰 필터링 (negative token filtering)을 제안합니다. 이를 두 가지 배치 레벨 어드밴티지 (batch-level advantage) 방법론에 적용한 결과, 추론 (reasoning) 작업에서는 그룹 기반 RL 기술과 대등한 성능을 달성하였고, 에이전트 (agentic) 작업에서는 더 강력한 성능을 보여주었습니다.