에이전트가 생성한 수정 사항(Fixes)의 거부 원인 분석: AIDev 데이터셋을 통한 통찰

AI 코딩 에이전트는 소프트웨어 프로젝트에서 코드 수정을 제안하는 풀 리퀘스트(PRs)를 생성하는 데 점점 더 많이 사용되고 있습니다. AIDev 데이터셋에 대한 초기 탐색 결과, Copilot, Devin, Cursor, Claude 에이전트가 제안한 수정 사항의 46.41%가 거부되는 것을 발견했습니다. 이는 단순히 폐기되는 수정 사항에 대해 인간의 검토, 확인, 테스트 및 유효성 검사를 요구하는 상당한 양의 자원 낭비를 의미합니다. 본 논문의 목표는 AI 에이전트의 실패 모드를 이해하는 것이며, 이러한 이해는 AI 에이전트를 효율적인 팀원으로 더 잘 통합하는 데 매우 중요합니다. 본 논문에서는 앞서 언급된 에이전트에 의해 생성되거나 공동 작성된 306개의 미병합(non-merged) 풀 리퀘스트의 대표 샘플에 대해 질적 연구를 수행하고, 이어서 거부 이유에 대한 양적 분석을 진행했습니다. 우리의 질적 발견은 AI 에이전트 수정 사항을 거부하는 네 가지 상위 범주로 나뉜 14가지 이유를 식별합니다. 우리는 개발자들이 구현 자체가 잘못된 경우(예: 불완전하거나 접근 방식이 틀린 경우), 지속적 통합(CI) 파이프라인을 통과하지 못하고 테스트에 실패하는 수정 사항, 에이전트가 구현을 수행할 수 없는 경우(예: 코드가 생성되지 않거나 세션이 손실된 경우), 그리고 우선순위가 낮은 수정 사항 때문에 거부할 수 있다는 것을 관찰했습니다. 우리의 결과는 이러한 수준에서 모델을 더 잘 안내하는 것의 중요성을 강조합니다: (1) 문제를 해결하기 위한 접근 방식에 대한 힌트 제안, (2) 취해서는 안 될 접근 방식과 관련된 제약 조건 또는 한계점 설명, 그리고 (3) CI 파이프라인을 통해 구현을 검증하고 깨지는 변경(breaking change)을 도입하지 않도록 에이전트에게 지침 제공. 우리의 결과는 생성된 수정 사항이 낭비되는 인간의 검토 노력이나 낭비되는 에이전트 자원(예: 토큰, 컴퓨팅 파워 또는 허용 요청 수)으로 이어지지 않도록 작업에 대한 좋은 우선순위 지정의 필요성을 시사합니다.