대규모 언어 모델(LLM)의 강화학습(RL)은 훈련 엔진과 추론 엔진 간의 작은 차이에 매우 민감한 것으로 알려져 있으며, 이는 종종 훈련-추론 불일치(training-inference mismatch, TIM)라고 불립니다. 하지만 TIM을 완전히 제거하는 것은 롤아웃 효율성 측면에서 큰 비용이 발생하기 때문에 비실용적입니다. 본 논문에서는 RL의 불안정성이 TIM 하에서 주로 '드리프트(drift)'에 의해 발생하며, 이는 매 훈련 단계마다 축적되는 훈련 엔진과 추론 엔진 간의 지속적인 편향이라고 보여줍니다. 우리는 드리프트를 상쇄하여 TIM 하에서 RL을 안정화시키는 가법적(