AgenticQwen: 산업 규모 도구 사용을 위한 소형 에이전트 언어 모델 훈련법

요약

본 논문은 복잡한 다단계 추론과 도구 사용 능력이 요구되는 산업 현장에 적합하도록 설계된 소형 에이전트 언어 모델 'AgenticQwen'을 소개합니다. AgenticQwen은 합성 데이터와 제한적인 오픈소스 데이터를 활용하여 다중 라운드 강화학습 (RL)으로 훈련되었습니다. 핵심은 '추론(Reasoning)'과 '에이전트(Agentic)'라는 두 가지 이중 데이터 플라이휠(Dual Data Flywheels)을 결합한 독특한 프레임워크입니다. 이 구조는 오류 학습을 통해 과제 난이도를 높이고, 선형 워크플로우를 실제 복잡성을 반영

핵심 포인트

• AgenticQwen은 산업 규모의 도구 사용(Tool Use) 및 다단계 추론 능력을 갖춘 소형 에이전트 언어 모델입니다.
• 훈련 프레임워크는 강화학습 (RL) 기반이며, '추론 RL'과 '에이전트 RL'을 결합한 이중 데이터 플라이휠(Dual Data Flywheels)을 사용합니다.
• 추론 플라이휠은 오류 학습을 통해 과제 난이도를 점진적으로 높이고, 에이전트 플라이휠은 선형 워크플로우를 다분기 행동 트리(multi-branch behavior trees)로 확장하여 현실의 의사결정 복잡성을 반영합니다.
• 실제 산업 에이전트 시스템에서 AgenticQwen은 검색 및 데이터 분석 작업에 있어 대규모 모델과의 성능 격차를 크게 줄였습니다.