EnterpriseClawBench: 실제 업무 세션을 활용한 에이전트 벤치마킹

요약

실제 기업 업무 세션을 기반으로 구축된 에이전트 벤치마크인 EnterpriseClawBench를 소개합니다. 852개의 재현 가능한 태스크를 통해 기업용 에이전트의 성능을 다각도로 평가할 수 있는 프로토콜을 제공합니다.

핵심 포인트

• 실제 업무 세션 아카이브를 활용한 852개의 재현 가능한 태스크 구성
• 데이터 보안을 위해 데이터 대신 평가 프로토콜을 공개하는 방식 채택
• 단일 점수 대신 비용, 실행 시간, 결과물 품질 등 다각적 지표 보고 권장
• 최고 성능 설정에서도 0.663이라는 낮은 점수를 기록하며 평가의 난이도 입증