리더보드 순위를 넘어서: 예산 제약 하의 소프트웨어 엔지니어링 에이전트 선택
요약
LLM 에이전트 선택 시 리더보드 순위만으로는 예산 제약 하의 최적 선택을 보장하기 어렵습니다. 본 연구는 7개 벤치마크를 활용하여 평가 전략을 비교했으며, 과제 비용 사전 지식이 있을 경우 'successive halving' 기법이 높은 효율성을 보여주었습니다. 이는 정확도 불확실성과 실행 비용 검증을 통합한 의사결정 중심의 에이전트 평가 방법을 제시합니다.
핵심 포인트
- 리더보드 순위는 예산 제약 하에서 에이전트 선택에 대한 충분한 증거를 제공하지 못한다.
- 과제 비용 사전 지식이 있을 경우, successive halving 기법이 높은 효율성을 보였다.
- 최적의 에이전트 평가는 정확도 불확실성과 실행 비용 검증을 통합해야 한다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기