AI 코딩 에이전트가 더 많은 코드를 생성하지만, 소프트웨어는 늘리지 못한다

컴퓨터 프로그래밍과 조금이라도 관련이 있는 사람이라면 누구나 현대 AI 코딩 어시스턴트와 에이전트가 방대한 양의 기능적 코드를 생성하는 데 엄청나게 효율적이라는 것을 알고 있습니다. 하지만 이러한 도구를 사용하는 개발자들은 그 코드의 정확성을 신뢰해서는 안 된다는 것도 잘 알고 있으며, 이는 모든 AI 생성 출력물을 검토하는 데 상당한 노력이 필요함을 의미합니다.

최근 수백 개의 기업에 걸친 실제 코딩 관행에 대한 연구에 따르면, 인간의 코드 리뷰가 AI 코딩 도구의 전반적인 효율성에 중요한 “병목 현상(bottleneck)”을 형성하며, 이로 인해 해당 도구를 사용한다고 해서 기업이 소프트웨어 출력을 늘리거나 고용을 줄인다는 “뚜렷한 증거는 없다”고 합니다. 연구 저자들은 실제 코딩 단계에서 증가하는 모든 효율성은 “생산 과정의 다운스트림 제약 조건에 흡수된다”고 밝히며, 그 이유로 “코드 리뷰 프로세스가 길이가 상당히 늘어나고, 풀 리퀘스트(pull requests)가 수정이 필요할 가능성이 더 높아지며, 검토자들이 더 많은 코멘트를 남기기 때문”이라고 설명합니다.

한 번 자르고, 두 번 측정하라

이러한 결론에 도달하기 위해 하버드 대학교 연구원 Fiona Chen과 James Stratton은 Jellyfish의 집계된 분석 데이터를 활용했습니다. Jellyfish는 엔지니어링 팀의 세부적인 출력을 측정하는 서비스입니다. 이 데이터에는 2021년부터 2026년 3월까지 700개 이상의 관련 소프트웨어 개발 기업에 종사하는 70만 명 이상의 직원을 대상으로 한 3억 개의 개별 “작업 이벤트(work events)” (예: 커밋 및 풀 리퀘스트)와 이슈 관리 소프트웨어 데이터가 포함되어 있습니다.

AI 도구들이 이러한 기업들에 미치는 영향을 평가하기 위해, 연구진은 직접 측정된 AI 사용량과 GitHub 활동 분석을 혼합하여 각 회사가 언제 AI 코딩 어시스턴트(주로 인간이 작성한 코드를 자동 완성하는 데 도움을 줄 수 있음) 및/또는 AI 코딩 에이전트(프롬프트 기반으로 코드를 주로 자율적으로 작성하고 제출함)를 워크플로우에 도입하기 시작했는지 파악했습니다. 연구진은 그런 다음 복잡한 수학 계산을 수행하여, 서로 다른 조직에서 이러한 도구들이 도입된 전후의 주요 변수들에 대해 “차이의 차이(difference of differences)” 회귀 분석을 수행했습니다.

순수하게 생성되는 코드 측면에서, 결과는 명확하고 극명합니다. 연구진은 AI 코딩 에이전트가 한 회사에 도입되면 총 생성 라인 수가 30% 증가하고, 전체 커밋(commit) 수는 20% 상승하며, 풀 리퀘스트(pull request) 수는 평균 23% 증가하는 것으로 나타났다고 작성했습니다. 하지만 이렇게 추가된 모든 코드가 기업 수준에서의 개선된 소프트웨어 결과로 직접 이어지지는 않습니다. 오히려 Jira와 같은 도구들이 추적하는 이슈(Issue) 및 에픽(Epic)(즉, 전체적인 소프트웨어 기능)의 해결률은 AI 도구가 도입된 후 통계적으로 유의미하게 변화하지 않았습니다 (연구진은 또한 AI가 도입된 전반에 걸쳐 Jira로 추적되는 이러한 이슈들의 크기나 복잡성에서 “구성적 변화(compositional shift)”도 발견하지 못했다고 밝혔습니다).