SpecRoll: Speculative Reinforcement Learning Rollouts를 위한 Fast-Slow

요약

SpecRoll은 강화학습(RL) 과정에서 자기회귀적 롤아웃 생성의 병목 현상을 해결하기 위한 새로운 speculative rollout 엔진입니다. 두 가지 시간 척도(fast-slow)를 활용해 타겟 모델의 분포를 유지하면서도 생성 속도를 획기적으로 향상시킵니다.

핵심 포인트

• Speculative decoding을 RL 사후 학습에 최적화하여 적용
• Reflex 모듈을 통한 역전파 없는 은닉 상태 수정 메커니즘
• Fast-Slow 적응 경로를 통한 타겟 모델 분포 보존 및 효율성 증대
• GRPO 대비 최대 2.15배의 생성 속도 향상 달성