EnvSched: 롤아웃 효율적인 에이전트 강화학습을 위한 환경 인식 스케줄링

요약

언어 에이전트의 강화학습(RL)에서 발생하는 높은 롤아웃 비용 문제를 해결하기 위해 EnvSched를 제안합니다. 이 온라인 스케줄러는 탐색과 커버리지를 결합하여 환경-작업 쌍에 가치를 할당하고, 예측 보상 분산을 통해 정보가 풍부하고 다양한 배치 생성을 유도합니다. 이를 통해 Qwen3-8B 등에서 기존 최고 점수를 능가하는 성능 향상을 입증했습니다.

핵심 포인트

• EnvSched는 RL 환경의 높은 롤아웃 비용 문제를 해결하는 온라인 스케줄러입니다.
• 탐색(exploitation)과 커버리지(coverage)를 결합하여 작업에 가치를 할당합니다.
• 이중 관계 그래프로 복잡한 환경-작업 상호작용을 모델링하고 예측 보상 분산을 활용합니다.
• 학습 예산 내에서 정보가 풍부하고 다양한 배치를 생성하여 성능을 극대화합니다.