병합되었지만 측정되지 않은: 코딩 에이전트에 의한 성능 문제 수정에 대한 경험적 연구

코딩 에이전트는 소프트웨어 속도를 높인다고 주장하는 풀 리퀘스트(PR)를 열지만, 인간의 성능 개선 사례 연구는 유지보수자가 그러한 수정 사항에 어떻게 반응하거나 그 주장이 유효한지에 대해서는 거의 알려주지 못합니다. AIDev v4에서 나온 71,677개의 에이전트 PR 중, 언어 모델과 저자들이 작성한 텍스트 필터와 코드북 코딩을 통해 582개 리포지토리에서 6개 에이전트에 의해 수정된 1,262개의 성능 문제를 선별했습니다. 우리는 각 문제와 그 테스트를 코딩하고 거부된 23개 및 병합된 30개 수정을 재실행했습니다. (1) 닫힌 수정 사항 중 57%가 병합되었으며, 거부된 수정 사항의 61%는 명시적인 이유를 제시하지 않았고, 주로 에이전트가 구축한 워크로드에 대한 우리의 세 번 실행 파일럿에서 재실행된 23개 거부 주장의 경우 단지 6개만이 유효했습니다. (2) 수용률은 리포지토리 내 에이전트의 실적(31-37%에서 70%로) 및 해당 리포지토리의 다른 에이전트 PR에 대한 사전 개방 병합률(33%에서 84%로)과 함께 증가했습니다. 병합된 수정 사항은 변경하는 라인 중 더 많은 비율을 삭제합니다(0.26 대 0.15). 이 차이는 에이전트 내부와 리포지토리 내부 모두에서 유지되지만, 코딩된 내용, 설명, 테스트 또는 측정에서는 그러한 차이가 감지되지 않았습니다. (3) 반복적인 계산과 중복 데이터 처리는 문제의 44%를 야기하며, 수정 사항의 46%는 아키텍처 수준에 관한 것입니다. (4) 에이전트는 수정 사항의 37%에서 테스트를 변경하고 11%가 성능 테스트 또는 벤치마크를 포함합니다. 병합된 30개 수정 사항 중 18개가 우리의 전달 기준을 충족했고, 3개는 주장에 미달했으며, 9개는 유의미한 이득이 없거나 퇴보를 보였고, 14개는 테스트되지 않은 입력에서 동작이 변경되었습니다. 결과는 수정 사항의 코딩된 내용보다는 에이전트와 리포지토리의 역사를 추적하며, 병합이 그 수정 사항이 주장하는 바를 제공한다는 것을 보여주지는 못합니다.