CoTrace: Harness-Model 공동 진화를 통한 터미널 에이전트 학습 데이터 레시피

요약

본 논문은 터미널 에이전트 학습 데이터의 효율성을 높이기 위해 'CoTrace'라는 새로운 프레임워크를 제안합니다. CoTrace는 하네스 검색과 정책 학습을 분리하는 교대 공동 진화 방식을 도입하여, 궤적의 출처와 가치를 명시적으로 관리합니다. 이를 통해 적은 컴퓨팅 자원으로도 모델 성능 향상을 달성하고, 다양한 환경에서의 전이 성능을 개선할 수 있음을 입증했습니다.

핵심 포인트

• CoTrace는 하네스 검색과 정책 학습을 분리하는 교대 공동 진화 프레임워크입니다.
• 궤적의 출처(provenance)를 관리하여 데이터 레시피의 가치를 극대화합니다.
• 작고 하네스에 일치하는 코퍼스가 큰 풀링된 코퍼스보다 효율적입니다.
• 하네스 호환성 유지가 분포 외 전이 성능 향상에 필수적임을 보여줍니다.