Tree packing이 TRL의 AsyncGRPO에 도입되었습니다! agentic RL에서 동일한 보상을 얻는 데 필요한 트레이너 컴퓨팅

요약

TRL의 AsyncGRPO에 도입된 Tree packing은 agentic RL 환경에서 동일한 보상을 얻는 데 필요한 트레이너 컴퓨팅 자원을 획기적으로 절감합니다. 기존 Sequence packing과 달리 고유 토큰을 단 한 번만 전방으로 전달하는 것이 핵심 원리입니다. 이 기술은 다양한 모델 구조에 적용되어 계산 효율성을 크게 개선했습니다.

핵심 포인트

• Tree packing이 AsyncGRPO에 도입되어 RL 학습의 효율성이 극대화됨.
• 동일한 보상 달성에 필요한 트레이너 컴퓨팅 자원을 최대 26배 절감함.
• 고유 토큰을 한 번만 전방으로 전달하여 계산 비용을 최적화함.
• dense, MoE, VLM 등 다양한 모델 구조에 적용 가능함을 입증함.