본문으로 건너뛰기
arXiv논문2026. 10. 07. 05:55
에이전트 벤치마크는 주장하는 대로 작동하는가? 도구 사용 에이전트 환경의 실행 가능한 계약 감사 대표 이미지

에이전트 벤치마크는 주장하는 대로 작동하는가? 도구 사용 에이전트 환경의 실행 가능한 계약 감사

원문 발행 2026. 09. 29. 20:50원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

본 기사는 도구를 사용하는 에이전트가 실제 비용을 초래하는 환경에서 작동함에 따라, 현재의 벤치마크가 도구 호출 결과를 단순히 보고된 내용만 평가하고 인터페이스 광고를 신뢰한다는 문제점을 지적합니다. 연구진은 실행 가능한 계약(executable contract) 개념을 도입하여, 도구가 실제로 어떻게 작동하는지 추적하며 여러 결함을 발견했습니다.

핵심 포인트

  • 기존 벤치마크는 도구의 보고된 내용만 평가할 뿐 실제 동작 여부를 검증하지 못함.
  • 실행 가능한 계약 관점에서 총 7가지 도구 결함과 1가지 평가자 속성 결함을 확인했음.
  • 도구가 문서화된 '쓰기 없음' 설계임에도 불구하고 실제로 쓰기가 발생한 사례를 발견함.
  • 벤치마크의 한계를 극복하기 위해 실행 가능한 계약 기반의 감사 체계가 필요함.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0