코드 이해가 코딩 에이전트의 병목 지점이다

코딩 에이전트를 위한 리포지토리 벤치마크(예: SWE-bench)는 종종 수정된 코드 라인이 작업 난이도를 예측한다고 가정하지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 부족하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵습니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진(Coding Ability Blueprint)인 CABRA를 제시합니다. CABRA는 호출 그래프 변환을 통해 작업부터 구축하며, 네 가지 축(함수 탐색, 검색, 런타임 해결, 명령어 준수)의 작업 크기 매개변수를 통해 난이도를 조정합니다. 우리는 8개의 LLM과 6개의 코딩 에이전트를 6,840개의 CABRA 작업을 수행하여 다음을 보여줍니다: 1) LLM의 정확도는 작업 크기가 커짐에 따라 떨어지지만, 에이전트는 도구(예: grep)에 작업을 위임함으로써 거의 완벽한 수준을 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위해 더 많은 도구 호출을 유발하며, SWE-bench Verified에 대한 별도의 연구에서는 이러한 도구 호출 횟수가 수정된 코드 라인보다 에이전트의 정확도를 더 잘 예측하는 것으로 나타났습니다. 이는 에이전트에게 작업 난이도가 단순히 수정을 하는 것이 아니라 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) CABRA를 두 클래스에 걸쳐 상이한 로직을 분석해야 하는 고강도 이해 작업으로 확장했을 때, 에이전트의 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 광범위하게, 우리는 CABRA와 같은 합성 평가가 도구에 의해 사소화되는 LLM의 약점(예: 바늘 찾기)과 코딩 에이전트가 여전히 어려움을 겪는 능력(예: 이해)을 드러내고, SWE-bench 스타일의 작업과 통제된 진단을 결합해야 한다고 주장합니다.