스코어 센트링(Score Centering)이 오프폴리시 강화학습을 안정화시킨다

요약

본 논문은 LLM 강화학습(RL)의 불안정성이 훈련-추론 불일치(TIM) 환경에서 발생하는 '드리프트'에 기인한다고 분석합니다. 이를 상쇄하는 스코어 센트링(Score Centering) 방법을 제안하여, TIM 하에서도 RL을 안정화시키는 새로운 접근 방식을 제시했습니다.

핵심 포인트

• LLM 강화학습은 훈련-추론 불일치(TIM)에 민감하다.
• RL 불안정성의 주원인은 축적되는 '드리프트'이다.
• 스코어 센트링 기법으로 드리프트를 상쇄하여 안정화한다.