에이전트 기반 Pull Request는 왜 병합되거나 거절되는가? 실증적 연구

AI 코딩 에이전트(AI coding agents)가 오픈 소스 저장소에 Pull Request(Agentic-PRs)를 제출하는 사례가 점점 늘어나고 있지만, 이들의 성능은 흔히 병합(merge) 및 거절(rejection) 결과만으로 평가됩니다. 본 연구에서는 리뷰 상호작용(review interactions)을 고려하지 않는다면 이러한 결과 라벨이 에이전트의 역량을 신뢰성 있게 반영하지 못할 것이라는 가설을 세웠습니다. 이를 테스트하기 위해, 우리는 11,048개의 종료된 에이전트 기반 Pull Request를 대상으로 의사결정 지향적 분석을 수행하였으며, 이를 인간이 리뷰한 9,799개의 PR로 정제하고, 상호작용 흔적(interaction artifacts)으로부터 의사결정 근거를 복구하기 위해 717개의 대표 사례를 수동으로 조사했습니다. 연구 결과, 거절 결과는 에이전트의 오류를 상당히 과장하고 있는 것으로 나타났습니다. 거절된 PR 중 명확한 에이전트 실패를 반영하는 경우는 35.7%에 불과했으며, 31.2%는 워크플로 제약(workflow constraints)에 의한 것이었고, 33.1%는 관찰 가능한 의사결정 근거가 부족했습니다. 병합된 PR 중에서는 15.4%가 피드백이나 직접적인 커밋(direct commits)을 통한 리뷰어의 명시적인 개입을 필요로 했으며, 5.5%는 가시적인 상호작용 흔적이 없었습니다. 또한 우리는 에이전트 간의 체계적인 차이를 관찰했는데, Copilot과 Devin은 리뷰어 매개 워크플로(reviewer-mediated workflows)에 포함되는 경우가 더 많았던 반면, Codex와 Cursor의 PR은 일반적으로 최소한의 상호작용만으로 병합되었습니다. 이러한 결과는 PR 결과만으로 에이전트의 성능을 포착할 수 있다는 가정을 부정하며, 리뷰 행동에 기반한 상호작용 인식 평가(interaction-aware evaluation)의 필요성을 입증합니다.