에이전트가 아닌 저장소를 관리하라: AI 네이티브 소프트웨어의 생태계 수준 리스크 측정

자율 코딩 에이전트(Autonomous coding agents)는 이제 공유 저장소(shared repositories)에서 대규모로 풀 리퀘스트(pull requests)를 열고 병합(merge)합니다. 하지만 이 분야는 지금까지 구성 요소를 평가해 온 방식 그대로, 즉 격리된 벤치마크 작업에서 한 번에 하나의 에이전트만을 대상으로 에이전트를 평가합니다. 그러나 각자의 테스트를 통과한 에이전트들이라 할지라도, 개별 기여(contribution)로는 설명되지 않는 문제들이 축적되는 저장소를 남기게 됩니다. 우리는 이 문제가 개별 에이전트의 문제인지, 아니면 문제가 축적되는 저장소의 문제인지 질문합니다. 우리는 통합 마찰(integration friction), 즉 다른 기여자들이 동시에 변경하고 있는 코드베이스(codebase)에 기여를 통합하는 데 드는 비용을 연구합니다. 930,000개 이상의 에이전트 작성 풀 리퀘스트를 통해, 우리는 기여, 작성자, 크기 및 에이전트를 고려한 후에도 마찰의 변동성 중 얼마만큼이 저장소에 남아 있는지를 측정합니다. 약 절반 정도가 남아 있으며, 이는 모든 통제 변수를 적용한 후에도 유지됩니다. 동일한 저장소 내에서, 에이전트가 작성한 기여는 인간의 기여보다 저장소 수준의 마찰을 약 두 배 더 집중시킵니다(내부 상관계수(intraclass correlation) 0.30 대 0.16). 이 격차는 코드베이스 크기, 연령, 작업 형태, 프로세스 성숙도 및 병합 경로(merge path)를 통제한 후에도 유지됩니다. 리스크는 에이전트가 아닌 생태계의 속성입니다. 따라서 AI 네이티브 소프트웨어는 한 번에 하나의 에이전트를 보는 것보다 생태계 수준에서 측정하고 관리하는 것이 더 적절합니다.