에이전트가 작성한 코드는 인간이 작성한 코드보다 유지보수하기 어려운가?

유지보수성 (Maintainability)은 소프트웨어 공학의 핵심적인 차원이며, 시간이 지남에 따라 코드가 작성되고, 리뷰되고, 개발되는 방식을 결정합니다. 코딩 에이전트 (Coding agents)들이 단일 이슈 작업에서 강력한 성능을 보여주었지만, 미래의 에이전트들이 그 위에 코드를 구축할 때 그들의 코드가 얼마나 유지보수 가능한지는 여전히 불분명하며, 이는 잠재적으로 복합적인 다운스트림 효과 (downstream effects)를 초래할 수 있습니다. 우리는 이러한 유지보수 환경에서 에이전트 코드와 인간 코드를 비교 조사하며, 저장소 수준 (repository-level)의 코딩 벤치마크로부터 통제된 실험을 구축하기 위한 프레임워크인 CodeThread를 제시합니다. CodeThread를 4개의 프런티어 코딩 에이전트 (frontier coding agents)와 4개의 벤치마크에 적용한 결과, 에이전트가 인간의 코드를 기반으로 작업할 때보다 에이전트의 코드를 기반으로 작업할 때 작업을 해결하는 능력이 더 떨어지며, 작업 해결률 (task resolve rate)이 최대 13.1%까지 하락한다는 것을 발견했습니다. 회귀 분석 (Regression analysis) 결과, 많은 전통적인 소프트웨어 공학 유지보수성 지표들이 이러한 차이를 설명하지 못한다는 것이 밝혀졌습니다. 대신, 가장 명확한 신호는 입력 검증 (input validation) 및 에러 처리 (error handling)의 변화와 같은 에이전트 코드의 미묘한 행동적 차이, 그리고 다운스트림 코드 크기 및 작업 난이도의 차이였습니다. 이러한 발견은 이러한 시스템들을 즉각적인 작업 해결뿐만 아니라 코드 유지보수성 측면에서도 평가해야 할 필요성을 강조하며, 에이전트 코드에 의해 도입될 수 있는 다운스트림 에러의 잠재적 원인을 지적합니다.