Workspace-Bench 1.0: 대규모 파일 의존성을 가진 작업 공간 작업을 위한 AI 에이전트 벤치마킹

요약

Workspace-Bench는 대규모 파일 의존성을 가진 작업 공간(workspace) 작업을 위한 AI 에이전트를 평가하기 위해 개발된 새로운 벤치마크입니다. 이 벤치마크는 현실적인 작업 환경을 시뮬레이션하여 최대 20GB의 파일을 포함하고, 총 388개의 고유한 파일 의존성 그래프를 가진 작업을 제공합니다. 이를 통해 에이전트가 교차 파일 검색, 문맥적 추론, 적응형 의사결정 능력을 종합적으로 평가할 수 있습니다.

핵심 포인트

• 기존 벤치마크의 한계를 극복하고 대규모 파일 의존성을 가진 실제 작업 공간 학습을 위한 새로운 평가 도구(Workspace-Bench)를 제시했습니다.
• 실제 환경과 유사하게 최대 20GB, 2만 개 이상의 파일을 포함하는 현실적인 작업 공간을 구축하여 높은 난이도를 제공합니다.
• 평가 기준은 총 7,399개에 달하며, 에이전트의 교차 파일 검색 및 문맥적 추론 능력을 종합적으로 측정합니다.
• 현재 AI 에이전트들의 성능은 인간 수준(80.7%)에 크게 미치지 못하는 것으로 실험 결과가 나타났습니다.