코딩 에이전트를 execute_code로 제한하는 것이 도움이 되는 경우는 언제인가? 레짐 $ imes$ 에이전트 디자인 제거 연구
요약
본 연구는 코딩 에이전트의 도구 표면(tool surfaces)을 제한하는 것이 성능과 비용에 미치는 영향을 분석했습니다. 합성 계산 및 SWE-bench Mini 수정 작업을 대상으로 3가지 팔 제거 연구를 수행했으며, Claude Code와 OpenAI Codex CLI 두 에이전트를 비교했습니다. 분석 결과, 에이전트를 단일 `execute_code` MCP 도구로 제한하는 것이 여러 작업 레짐과 에이전트 디자인에서 비용 효율적이거나 동등한 성능을 보였습니다. 이는 주요 비용 신호가 단순히 패스율이 아닌 캐시 조정된 비용에 있음을 시사합니다.
핵심 포인트
- 단일 `execute_code` 도구 제한이 비용 효율적이며, 풍부한 도구가 항상 최선은 아님.
- 최적의 도구 표면은 작업 레짐과 에이전트 디자인에 의해 공동으로 결정됨.
- 코딩 에이전트의 주요 비용 신호는 패스율보다 캐시 조정된 비용(cache-adjusted cost)에 존재함.
최신 코딩 에이전트는 여러 도구 표면(tool surfaces)을 노출합니다. IDE 기본 기능, bash, 그리고 Model Context Protocol (MCP) 코드 실행 등이 그것입니다. 이 분야는 어떤 것이 중요한지에 대해 세 가지 모순되는 주장을 내놓았습니다. 저희는 누락된 교차 비교를 수행했습니다: 합성 계산 작업과 SWE-bench Mini 수정 작업을 대상으로 무결성 검증이 가능한 3개 팔 제거 연구(baseline / bash_only / code_only)를 진행했으며, 모델, 하네스, 프롬프트를 고정하고 두 에이전트(Claude Code, OpenAI Codex CLI)를 사용하여 비교함으로써 레짐과 에이전트 디자인 축 모두에 걸쳐 비교할 수 있게 했습니다. 결과로 나온 네 가지 (레짐, 에이전트) 셀 전반에서, 에이전트를 단일 execute_code MCP 도구로 제한하는 것이 세 개의 셀(Artifact/Claude와 SWE-bench/Codex에서 유의미하게; Artifact/Codex에서 방향성 있게)에서 가장 저렴한 도구가 풍부한 경쟁자보다 비용이 적거나 — 통계적으로 동등했습니다. 이 경우, 각 셀 내에서 패스율은 통계적으로 동일했습니다. 유일한 예외는 SWE-bench/Claude였는데, 여기서 code_only가 방향성 있게 더 비쌌습니다 (+14.4%, 유의미하지 않음); 조건부 비용 분석은 그 격차가 성공적인 실행에 대한 편집당 세금이 아니라 실패한 실행 궤적에서의 실패 비용에 국한됨을 보여줍니다. 두 가지 시사점이 있습니다: 가장 저렴한 도구 표면은 어느 한 축만으로 결정되는 것이 아니라, 작업 레짐과 에이전트 디자인에 의해 공동으로 결정되며, 주요 비용 신호는 패스율이 아니라 캐시 조정된 비용(cache-adjusted cost)에 존재합니다. (패스율은 저희가 평가한 모델 크기에서는 표면 전반에 걸쳐 불변입니다.) 벤치마크 하네스, 작업 세트, 분석 코드는 https://github.com/hyang0129/onlycodes에서 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기