배경: 조직들은 토큰당 과금되는 다중 에이전트 대규모 언어 모델(LLM) 파이프라인으로 코드 리뷰를 점점 더 위임하고 있습니다. 낮은 코드 품질은 인간의 유지보수 노력을 증가시키지만, 이것이 에이전트 리뷰 비용에 미치는 영향은 측정된 적이 없습니다.
목표: 우리는 기준 CodeHealth가 풀 리퀘스트(PR) 영역을 넘어선 에이전트 기반 리뷰 및 수정의 토큰 비용을 예측하는지 테스트합니다.
방법: 사전 등록 관찰 연구에서, 우리는 AIDev의 246개 저장소에서 465개의 에이전트 작성 PR 샘플을 수집했으며, 저장소별 제한 하에 CodeHealth와 영역(footprint)으로 공동 계층화했습니다. 고정된 다섯 개 에이전트 리뷰 및 수정 파이프라인이 세 가지 다른 LLM을 사용하여 모든 PR을 처리했습니다. 각 LLM에 대해, 우리는 저장소 무작위 절편을 가진 혼합 모델로 CodeHealth와 로그 PR 영역에 대한 로그 토큰 비용을 적합시켰습니다.
결과: 세 가지 LLM 모두에서 CodeHealth 계수는 음수였으며, 95% 신뢰 구간(CI)이 0을 제외했습니다. 각 CodeHealth 포인트는 3.5%에서 6.1% 낮은 토큰 비용과 관련 있었습니다. CodeHealth는 PR 영역과 무관했으므로, PR 크기가 연관성을 설명하지 못합니다. 세 가지 등록된 냄새 중 두 가지가 수정 비용을 예측했습니다. 일괄 수정(batch fixing)은 중앙값 CodeHealth를 변화시키지 않았습니다. 탐색적 분석에서는 이 연관성이 리뷰 단계에서 발견되었는데, 에이전트들이 더 많은 주석을 작성하지 않고도 건강하지 않은 코드에 대해 더 많이 반복하는 경우였습니다. 점수화된 파일의 크기를 조정하자 그 연관성은 흡수되었으며, 우리는 이를 파일 크기에 의한 매개(mediation)로 해석합니다.
결론: 인간 유지보수성에 맞춰 보정된 품질 지표는 다중 에이전트 리뷰 및 수정의 추론 비용도 예측합니다. 이 효과는 포인트당 미미하며 PR 크기에 의해 전달되지 않으므로, 리팩토링 사례는 점수뿐만 아니라 구조와 파일 크기가 변경되는 에이전트 검토 코드에도 확장됩니다.
데이터 가용성: https://doi.org/10.5281/zenodo.22127920