에이전트 최적화 이득은 누적되는가? Terminal-Bench 2.0을 사용한 지속 학습 평가

요약

본 연구는 에이전트 최적화 이득의 지속성 문제를 다루며, 기존 방법들이 단일 벤치마크에만 국한된 성능 향상을 보인다고 지적합니다. Terminal-Bench 2.0을 사용한 두 단계 지속 학습 평가 결과, RELAI-VCL만이 새로운 작업에도 긍정적으로 전이되고 최적화 이득이 누적됨을 입증했습니다.

핵심 포인트

• 에이전트 성능 향상은 일회성일 수 있으며, 실제 환경에서는 재귀적인 최적화가 필요하다.
• GEPA와 Meta Harness는 새로운 작업 도입 시 성능 저하를 보이거나 개선되지 못했다.
• RELAI-VCL은 보지 못한 작업에도 긍정적으로 전이되며 이득을 지속적으로 누적하는 유일한 방법이었다.