두 개의 시계(Two Clocks): 검증 가능한 보상을 사용한 강화학습에서 더 큰 롤아웃 배치가 느리게 학습하지만 스케줄에 실패하는 이유

요약

본 논문은 검증 가능한 보상을 사용하는 강화학습(RLVR)의 샘플 효율성 문제를 다룹니다. 기존의 제곱근 학습률 스케일링 규칙이 실제 다단계 훈련에서 진전을 유지하지 못하는 현상을 분석하고, 이를 해결하기 위해 '두 개의 시계' 프레임워크를 제안합니다. 이 프레임워크는 샘플과 진전 소모를 분리하여 더 나은 RLVR 학습 스케줄을 도출할 수 있게 합니다.

핵심 포인트

• RLVR의 샘플 효율성 문제가 다단계 훈련에서 발생함.
• 기존 제곱근 규칙은 진전을 유지하지 못하는 한계가 있음.
• 두 개의 시계 프레임워크로 샘플과 진전 소모를 분리하여 문제를 해결함.
• 제안된 스케줄을 통해 임계 배치보다 낮은 곳에서 시작해 큰 배치로 전환할 수 있음.