LLM을 활용한 강화학습(RL)의 불안정성 해결: Score Centering 제안

요약

LLMs를 활용한 강화학습(RL)은 학습 정책과 샘플링 정책이 다를 때 불안정성을 겪습니다. 본 글은 이 근본적인 문제를 해결하기 위해 'Score Centering'이라는 방법을 제안합니다. 이는 오프폴리시 RL을 안정화하며, 구현이 간단하고 기존 접근 방식보다 경쟁력이 있습니다.

핵심 포인트

• LLM 기반 RL은 학습-추론 불일치로 인해 불안정성이 발생합니다.
• 'Score Centering'은 이 근본적인 원인을 직접 상쇄하는 방법입니다.
• 오프폴리시 강화학습의 안정화에 기여하며, 기존 방식과 호환됩니다.