비동기 강화학습 (async RL)을 위한 Staleness-Adaptive Trust Regions

요약

비동기 강화학습(async RL) 시 발생하는 데이터 지연성(Staleness) 문제를 해결하기 위한 새로운 방법론을 제안합니다. 지연성이 높은 토큰에 대해 PPO의 클립 반경을 동적으로 조절하여 학습 붕괴를 방지합니다.

핵심 포인트

• Staleness-Adaptive Trust Regions 기법 제안
• 지연성이 높은 토큰의 PPO Clip radius를 좁혀 학습 안정성 확보
• AIME24 벤치마크에서 높은 성능(최대 35.83점) 달성