Trace2Eval: 실제 트레이스 기반 코딩 에이전트의 상황적 평가

요약

기존 코딩 에이전트 벤치마크의 한계를 극복하기 위해, 실제 상호작용 트레이스를 활용하는 동적 평가 파이프라인 Trace2Eval을 제안합니다. 이 시스템은 다중 에이전트를 이용해 작업 환경을 재구성하고, 인간 루브릭과 심사 에이전트가 결합된 방식으로 아티팩트를 평가합니다. 이를 통해 모델들은 초기 결과물을 수정하며 평균 10% 이상의 성능 향상을 달성했습니다.

핵심 포인트

• 기존 정적 테스트 대신 실제 사용자 워크플로우 기반의 동적 평가 필요.
• Trace2Eval은 트레이스를 이용해 실행 환경을 재구성하고 질의를 복구함.
• 인간 루브릭과 심사 에이전트가 결합되어 아티팩트를 정교하게 검증.
• 모델들은 피드백에 따라 수정하며 평균 10.05% 이상의 성능 향상을 입증.