LLM 강화학습을 위한 예측 분산 마스크 (Predictive Divergence Masks for LLM RL)

요약

본 논문은 LLM 강화학습(RL)에서 사용되는 신뢰 영역 마스크의 한계를 지적하고, 이를 개선한 예측 분산 마스크(Predictive Divergence Mask)를 제안합니다. 이 새로운 마스크는 정책 기울기 단계가 신뢰 영역 내에서 분산을 증가시키거나 감소시킬지 예측하여 RL 학습을 안정화하는 것을 목표로 합니다.

핵심 포인트

• PPO 스타일 접근 방식의 비율 기반 방향성 기준은 한계가 있습니다.
• 예측 분산 마스크는 분산 변화를 예측하여 RL 신뢰 영역을 개선합니다.
• 이산 소프트맥스 정책에 대한 폐쇄형 공식과 경량 top-K 추정기를 개발했습니다.
• 제안된 분산 기반 방향성은 기존 샘플링 비율보다 실현된 분산 변화와 더 잘 정렬됩니다.