Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 멀티모달 에이전트가 여러 단계에 걸쳐 도구를 호출하고 사고하는 과정을 효율적으로 학습하기 위한 새로운 프레임워크 SPyCE를 제안합니다. SPyCE는 추론 궤적을 재사용 가능한 스킬 라이브러리로 증류하고, 이 스킬과 정책 모델이 강화학습 과정에서 공동으로 진화하도록 설계되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이미지를 활용하여 순차적으로 사고하는 멀티모달 에이전트는 시각적 증거를 조작하고 여러 단계에 걸쳐 도구를 호출합니다. 기존의 강화학습(RL) 방법들은 궤적을 스칼라 보상으로 축소하여, 정책이 매번 새로운 작업에서 재사용 가능한 도구 사용 패턴을 처음부터 발견하도록 강제합니다. 메모리 기반 대안들은 과거 경험을 유지하지만, 테스트 시간 검색에 의존할 뿐 그 경험으로부터 재사용 가능한 패턴을 흡수하기 위해 정책을 업데이트하지는 않습니다. 우리의 핵심 통찰은 멀티모달 추론 궤적들이 보상으로 소비되거나 정적인 저장소에서 검색되는 것이 아니라, 학습 과정 동안 정책과 공동 진화하는 재사용 가능한 스킬로 증류되어야 한다는 것입니다. 이를 위해 우리는 트래젝토리를 계층적 스킬 라이브러리로 증류하고 강화학습 전반에 걸쳐 업데이트하는 프레임워크인 SPyCE (Skill-Policy Co-evolution)를 제안합니다. 실행(Execution) 스킬은 국소적인 시각적 연산을 포착하며, 워크플로우(Workflow) 스킬은 도구 사용을 조율하는 고수준의 사전 지식(priors)을 인코딩합니다. 학습 중, 정책 모델은 검색된 스킬에 조건화되어 롤아웃(rollouts)을 안내하고, 스킬 라이브러리는 정책이 생성한 가치 있는 롤아웃을 사용하여 진화합니다. 이는 개선된 정책이 더 나은 스킬을 산출하고, 진화하는 스킬 라이브러리가 다시 정책 롤아웃에 더 강력한 사전 지식을 제공하는 폐쇄 루프를 만듭니다. 여덟 가지 벤치마크 전반의 실험은 SPyCE가 RL 기반 및 메모리 기반 베이스라인 모두를 일관되게 능가함을 보여줍니다. 추가 분석 결과, 계층적 스킬 설계와 공동 진화 메커니즘 모두가 우리 디자인에 매우 중요함이 밝혀졌습니다. 이러한 결과는 유능한 멀티모달 에이전트를 구축하기 위한 유망한 패러다임으로서 공동 스킬-정책 최적화를 시사합니다.