이미지를 활용하여 순차적으로 사고하는 멀티모달 에이전트는 시각적 증거를 조작하고 여러 단계에 걸쳐 도구를 호출합니다. 기존의 강화학습(RL) 방법들은 궤적을 스칼라 보상으로 축소하여, 정책이 매번 새로운 작업에서 재사용 가능한 도구 사용 패턴을 처음부터 발견하도록 강제합니다. 메모리 기반 대안들은 과거 경험을 유지하지만, 테스트 시간 검색에 의존할 뿐 그 경험으로부터 재사용 가능한 패턴을 흡수하기 위해 정책을 업데이트하지는 않습니다. 우리의 핵심 통찰은 멀티모달 추론 궤적들이 보상으로 소비되거나 정적인 저장소에서 검색되는 것이 아니라, 학습 과정 동안 정책과 공동 진화하는 재사용 가능한 스킬로 증류되어야 한다는 것입니다. 이를 위해 우리는 트래젝토리를 계층적 스킬 라이브러리로 증류하고 강화학습 전반에 걸쳐 업데이트하는 프레임워크인 SPyCE (Skill-Policy Co-evolution)를 제안합니다. 실행(Execution) 스킬은 국소적인 시각적 연산을 포착하며, 워크플로우(Workflow) 스킬은 도구 사용을 조율하는 고수준의 사전 지식(priors)을 인코딩합니다. 학습 중, 정책 모델은 검색된 스킬에 조건화되어 롤아웃(rollouts)을 안내하고, 스킬 라이브러리는 정책이 생성한 가치 있는 롤아웃을 사용하여 진화합니다. 이는 개선된 정책이 더 나은 스킬을 산출하고, 진화하는 스킬 라이브러리가 다시 정책 롤아웃에 더 강력한 사전 지식을 제공하는 폐쇄 루프를 만듭니다. 여덟 가지 벤치마크 전반의 실험은 SPyCE가 RL 기반 및 메모리 기반 베이스라인 모두를 일관되게 능가함을 보여줍니다. 추가 분석 결과, 계층적 스킬 설계와 공동 진화 메커니즘 모두가 우리 디자인에 매우 중요함이 밝혀졌습니다. 이러한 결과는 유능한 멀티모달 에이전트를 구축하기 위한 유망한 패러다임으로서 공동 스킬-정책 최적화를 시사합니다.