강화 학습 (RL)은 사후 훈련 대규모 언어 모델 (LLMs)에 점점 더 중요해지고 있습니다. LLM을 위한 이전 RL 파이프라인은 대부분 동기식(synchronous)이며 배치 간 교차(batch-interleaved) 방식이었는데, 이는 장기 지평선 에이전트 기반 작업에는 비효율적입니다. 최근에는 롤아웃이 도착함에 따라 모델을 업데이트하는 방식으로 작동하는 비동기 RL (asynchronous RL)이 보다 효율적인 대안으로 부상했습니다. 하지만 기존의 비동기 RL 시스템들은 처리량(throughput)을 강조하는 경향이 있어, 학습 안정성 및 작업 효과성은 상대적으로 충분히 탐구되지 못하고 있습니다. 예를 들어, 널리 사용되는 GRPO 프레임워크에서의 그룹별 샘플링(group-wise sampling)은 비동기 에이전트 기반 훈련에 자연스럽게 적용되기 어렵다는 것이 주요 과제 중 하나입니다. 본 논문에서는 비동기 RL의 안정성 및 오프폴리시(off-policy) 문제를 해결하기 위해 단일 롤아웃 비동기 최적화 (Single-rollout Asynchronous Optimization, SAO)를 제시합니다. 오프폴리시 효과를 줄이고 일반화 성능을 개선하기 위해, 그룹별 샘플링 대신 단일 롤아웃 샘플링(single-rollout sampling), 즉 프롬프트당 하나의 롤아웃을 사용하는 방식으로 대체했습니다. 또한 실용적인 가치 모델 학습 설계를 통해 이 단일 롤아웃 전략을 더욱 개선했습니다. 최적화 안정성을 높이기 위해 엄격한 양방향 토큰 레벨 클리핑(double-side token-level clipping) 전략을 도입했습니다. SAO는 1,000 스텝 동안 안정적으로 훈련할 수 있으며, SWE-Bench Verified, BeyondAIME, IMOAnswerBench와 같은 에이전트 기반 코딩 및 추론 벤치마크에서 GRPO 및 그 변형 모델들보다 지속적으로 우수한 성능을 보입니다. 또한 단일 롤아웃 RL이 모델이 변화하는 환경에 적응해야 하는 시뮬레이션된 온라인 학습 환경에서 특히 효과적임을 입증했습니다. 이를 위해 SAO는 open GLM-5.2 모델 (750B-A40B)의 에이전트 기반 RL 파이프라인에 성공적으로 배포되었습니다. submitted by /u/de4dee [link] [comments]