Qwen이 QwenGyre를 공개하다 - 초장기 복잡 과제에 AI 에이전트를 훈련하기 위한 RL 프레임워크
요약
Qwen이 초장기 복잡 과제에 AI 에이전트를 훈련하기 위한 새로운 RL 프레임워크인 QwenGyre를 공개했습니다. 이 프레임워크는 탄성 스케줄러와 궤적 프로세서를 핵심 설계로 채택하여, GPU 자원 재할당 및 훈련 샘플 최적화를 통해 효율성을 극대화합니다.
핵심 포인트
- 탄성 스케줄러: 요구 변화에 따라 GPU를 재할당하여 실시간 중단 없이 훈련 가능
- 궤적 프로세서: 분기 실행을 공유 궤적 트리로 변환, 중복 제거 및 샘플 최적화
- NL2RepoBench 성능 향상: QwenGyre 적용 후 성능이 크게 개선됨
- 효율성 증대: 기존 방식 대비 훈련 시간 단축 및 속도 향상을 입증함
QwenGyre를 소개합니다. 이는 탄성적인 강화학습(RL)을 활용하여 극도로 긴 지평선(XLong)의 에이전트 훈련을 가능하게 합니다. 이 프레임워크는 두 가지 핵심 설계를 가지고 출시되었습니다:
- 탄성 스케줄러 (Elastic Scheduler): 요구 사항 변화에 따라 롤아웃 및 훈련 간 GPU를 재할당하여, 실시간 실행이 중단되는 일이 없습니다. Colocate 대비 최대 1.85배, Async 대비 1.78배의 속도 향상을 제공합니다.
- 궤적 프로세서 (Trajectory Processor): 분기 실행(압축, 서브 에이전트, 재시도)을 전처리 공유 궤적 트리로 변환하여 경계가 설정되고 중복 제거된 훈련 샘플을 만듭니다. 타임아웃 후의 부분적인 진행 상황도 점수를 받을 수 있습니다.
QwenGyre는 Qwen3.8-2.4T-A95B에 맞춰 약 70만 토큰/롤아웃으로 확장되었으며, 48단계 만에 NL2RepoBench 성능을 52.5%에서 58.5%로 끌어올렸고, Async 대비 종단 간(end-to-end) 훈련 시간을 약 44% 단축했습니다.
🔗 논문 읽기: arxiv.org/abs/2609.33848 /u/ResearchCrafty1804 제출 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기