Computer Science > Software Engineering

제목: 코드 청결도가 코딩 에이전트(Coding Agents)에 영향을 미치는가? 통제된 최소 쌍(Minimal-Pair) 연구

PDF HTML 보기 (실험적) 초록: 자율 코딩 에이전트(Autonomous coding agents)의 도입이 급격히 늘어남에 따라, 이들에 대한 평가는 주로 대상 코드베이스(Codebase)를 고정시킨 상태에서의 작업 완료율(Task completion rates)에 집중되어 왔습니다. 이는 중요한 질문 하나를 해결하지 못한 채 남겨두었습니다. 즉, 기반 코드의 구조적 및 스타일적 품질, 즉 "청결도(Cleanliness)"가 에이전트가 코드를 탐색하고 수정하는 능력에 영향을 미치는가 하는 점입니다. 에이전트의 역량으로부터 코드 청결도의 영향을 분리하기 위해, 우리는 최소 쌍(Minimal pairs)을 중심으로 구축된 평가 프로토콜을 도입합니다. 여기서 최소 쌍이란 아키텍처(Architecture), 의존성(Dependencies), 외부 동작(External behaviour)은 일치하지만, 정적 분석 규칙 위반(Static-analysis rule violations) 및 인지 복잡도(Cognitive complexity) 측면에서 차이가 나는 저장소(Repositories)를 의미합니다. 이 쌍들은 깨끗한 저장소를 저하시키거나 지저분한 저장소를 깨끗하게 만드는 에이전트 파이프라인(Agent pipelines)을 통해 양방향으로 구축되었습니다. 우리는 이러한 6개의 쌍에 걸쳐 33개의 태스크(Tasks)를 작성하였으며, 애플리케이션의 공개 인터페이스(Public surface)를 통한 숨겨진 테스트(Hidden tests)로 평가하였습니다. Claude Code를 이용한 660회의 시행 결과, 코드 청결도는 에이전트의 통과율(Pass rate)을 변화시키지 않았습니다. 그러나 코드 청결도는 에이전트의 운영 발자국(Operational footprint)을 실질적으로 변화시켰습니다. 더 깨끗한 코드에서 작업하는 에이전트는 토큰(Tokens)을 7~8% 적게 사용하며, 파일 재방문(File revisitations) 횟수를 34% 줄였습니다. 우리의 연구 결과는 전통적인 유지보수성(Maintainability) 원칙이 AI 주도 개발 시대에도 여전히 매우 유효하며, 코딩 에이전트의 계산 비용(Computational cost)과 탐색 효율성(Navigational efficiency)을 형성한다는 것을 시사합니다. 코드 청결도는 모델 선택(Model choice), 하네스(Harness), 프롬프팅(Prompting)과 더불어 에이전트의 행동에 실질적인 영향을 미치는 요소로 자리 잡았습니다.

서지 및 인용 도구

이 논문과 관련된 코드, 데이터 및 미디어

데모

추천 및 검색 도구

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께하는 개인과 조직 모두 개방성 (openness), 커뮤니티 (community), 탁월함 (excellence), 그리고 사용자 데이터 프라이버시 (user data privacy)라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 더 알아보기