LLM 추론을 위한 RL 업데이트의 핵심 요소는 무엇인가?

요약

LLM의 추론 능력 향상을 위한 RLVR(검증 가능한 보상 기반 강화학습)의 업데이트 역학을 이론적으로 분석한 연구입니다. 중요도 샘플링 비율의 분포와 클리핑 동작이 업데이트에 미치는 영향을 규명하고, 이를 개선한 ACPO 알고리즘을 제안합니다.

핵심 포인트

• RLVR 업데이트 시 오프-폴리시 정도가 중요도 샘플링 비율에 미치는 영향 분석
• 그래디언트 기대값을 중심으로 토큰 확률, 어드밴티지, 중요도 샘플링 비율의 역할 규명
• 경험적 분산에 따라 클리핑 경계를 조정하는 ACPO 알고리즘 제안
• 수학, 논리 퍼즐 등 다양한 벤치마크에서 기존 베이스라인 대비 우수한 성능 입증