HarnessOpt-Bench: 하네스 최적화(Harness Optimization)에서의 LLM 성능 평가

요약

LLM 에이전트 시스템의 성능을 결정하는 프롬프트, 도구, 제어 흐름 등의 '하네스'를 최적화하는 능력을 평가하기 위한 새로운 벤치마크인 HarnessOpt-Bench를 제안합니다. 실험을 통해 하네스 최적화가 모델의 차별화된 능력이자 개선 가능성이 큰 영역임을 입증했습니다.

핵심 포인트

• 하네스 최적화는 모델 가중치 외의 구성 요소를 개선하는 핵심 과정임
• HarnessOpt-Bench는 엔드 투 엔드 하네스 최적화 평가를 위한 벤치마크임
• 최첨단 LLM의 하네스 최적화 능력을 다양한 태스크에서 검증함
• 하네스 최적화는 측정 가능하며 모델 간 성능 차이를 유발하는 능력임