@HuggingPapers 리트윗: 과제 성공이 곧 테스트 환경의 정상적인 작동을 의미하는 것은 아니다

요약

HuggingPapers는 과제 성공 여부가 테스트 환경(harness)의 정상적인 작동을 의미하지 않는다는 점을 지적합니다. TraceTrial-Bench라는 벤치마크를 통해 에이전트 성능과 테스트 환경 신뢰성을 개별적으로 평가했습니다. 이 결과, 총 실행 중 상당수의 성공 사례가 실제 테스트 기준을 통과하지 못한 것으로 나타났습니다.

핵심 포인트

• 과제 성공 여부와 테스트 환경의 신뢰성은 별개로 봐야 합니다.
• TraceTrial-Bench는 에이전트 성능과 환경 신뢰성을 분리 평가합니다.
• 실행된 과제의 31.1%가 테스트 환경 기준을 통과하지 못했습니다.