편집자 노트: 718개 기업을 다룬 하버드 박사 과정 학생인 Fiona Chen과 James Stratton의 워킹 페이퍼에 따르면, AI 코딩 에이전트를 도입한 기업의 엔지니어들은 약 30% 더 많은 코드를 추가했지만, 완료된 작업량은 측정 가능한 수준으로 증가하지 않았으며, 코드 검토를 거치는 데는 49% 더 오랜 시간이 걸렸습니다. 이 논문은 동료 검토(peer review)가 완료되었다는 어떠한 표시도 없는 일자리 시장 페이퍼로, 초안 작성 속도가 빨라진 후 인간의 확인 지점(human checkpoint)에서 어떤 일이 발생하는지를 측정합니다. Harvey의 'motion-to-dismiss' 워크플로우와 Google Cloud와 함께 개발 중인 Cooley의 삭제 에이전트(redaction agent) 모두 변호사를 유사한 검토 지점에 머물게 하며, 이 발표들 중 어느 것도 해당 검토 단계에 대한 측정을 보고하지 않습니다.
eDiscovery, 프라이버시 및 컴플라이언스 전문가들을 위해 이 연구는 법률 AI 구매자들에게 다음과 같은 측정 접근 방식을 시사합니다: 초안 작성 결과와 함께 승인된 작업 산출물(approved work product), 수정 비율(revision rates), 검토 시간 등을 고려해야 합니다. 또한, AI 저작권이 협업 시스템에 메타데이터를 남길 수 있으며, 이는 기록 및 법적 보존 프로그램(legal hold programs)이 도달해야 할 필요가 있을 수 있음을 보여줍니다. 논문 개정판과 검토 단계의 수치를 발표하는 모든 법률 벤더들을 주시하되, 이 연구가 법률 작업이 아닌 소프트웨어를 조사했다는 점을 염두에 두시기 바랍니다.
콘텐츠 평가: 하버드 연구원들, AI 코딩 에이전트가 병목 지점을 코드 검토로 이동시켰음을 밝히다
통찰력(Insight) - 90%
관련성(Relevance) - 88%
객관성(Objectivity) - 90%
권위(Authority) - 92%
90%
우수함(Excellent)
최근 ComplexDiscovery OÜ에서 발행한 "하버드 연구원들, AI 코딩 에이전트가 병목 지점을 코드 검토로 이동시켰음을 밝히다"라는 제목의 기사에서 표현된 정성적 이점(qualitative benefit)에 대한 백분율 기반 평가입니다.
뉴스 분석 – 인공지능 혁신
하버드 연구원들, AI 코딩 에이전트가 병목 지점을 코드 검토로 이동시켰음을 밝히다
ComplexDiscovery OÜ 스태프
AI 코딩 에이전트를 도입한 기업의 엔지니어들은 약 30% 더 많은 코드를 추가했지만, 완성된 작업량은 측정 가능한 수준으로 증가하지 않았고, 코드 검토(code review)를 거치는 데는 49% 더 오랜 시간이 걸렸다고 하버드 워킹 페이퍼가 발견했다.
연구 데이터에 따르면, 추가적인 코딩은 완성된 작업량의 감지 가능한 증가를 가져오지 못했으며, 코드 검토가 병목 지점이 되었다. 하버드 대학교의 박사 과정 학생인 Fiona Chen과 James Stratton은 718개 회사에서 근무하는 725,938명의 근로자를 대상으로 이러한 패턴을 측정했다. 이번 달에 발표된 두 가지 법률 AI 관련 소식(Harvey의 기각 신청 워크플로우와 Google Cloud와 함께 개발 중인 법원 제출용 검열 에이전트 Cooley)은 변호사를 유사한 검토 단계에 배치하지만, 어느 쪽도 그 측정치를 보고하지 않았다.
하버드 데이터가 측정한 것
그 패턴이 얼마나 큰 가중치를 지닐 수 있는지는 숫자가 어디에서 왔는지에 달려 있다. Chen과 Stratton은 엔지니어링 활동을 추적하는 분석 플랫폼을 판매하는 회사인 Jellyfish의 데이터로 연구를 구축했으며, 이를 Revelio Labs가 수집한 LinkedIn 고용 기록과 결합했다. 이 표본은 2021년 1월부터 2026년 3월까지 진행되었으며, 데이터 연구 사용에 동의한 Jellyfish 고객사들을 포괄한다. 논문의 표에는 6830만 개의 Jira 이슈, 2억 9090만 개의 커밋(commits), 4910만 개의 풀 리퀘스트(pull requests), 그리고 2130만 개의 달력 이벤트가 나열되어 있지만, 718개 회사 중 달력 데이터를 제공한 곳은 단 213곳에 불과했다.
설계는 단계적 차분차분석(staggered difference-in-differences comparison) 비교이며, 채택하는 기업과 아직 채택하지 않은 기업 간의 결과가 월별로 어떻게 변화했는지 추적합니다. 이러한 비교는 채택 날짜가 달라진 이유만큼만 유효하며, 여기에서 저자들은 법무팀(legal)과 보안팀(security)이 내부적으로 관여하기 때문에 인지할 수 있는 프로세스를 지적합니다. 논문은 시기가 주로 기업들이 도구에 대해 알게 된 시점과 조달 과정(procurement)에 얼마나 오래 걸렸는지에 의해 형성되었다고 말하며, 이는 소싱, 법률 및 보안 승인, 파일럿 프로그램 등을 포함합니다. 한 인터뷰 대상자의 회사는 약 하루 만에 도구를 승인했지만, 다른 인터뷰 대상자는 평균 승인 시간을 6개월에서 12개월로 제시했습니다.
저자들은 이러한 조달 지연이 기업의 성장 속도와는 개연성 있게 무관하다고 주장하며, 이는 초기 채택자와 후기 채택자를 비교하는 것을 뒷받침한다고 말합니다. 그들은 더 큰 기업들이 더 일찍 채택했다는 알려진 불균형(imbalance) 한 가지를 인정하고 있으며, 이를 통제 변수(control for firm size)로 사용했습니다. 만약 어떤 숨겨진 차이가 남아 있더라도, 저자들에 따르면 그것은 AI가 실제보다 더 생산적으로 보이게 할 가능성이 높지, 덜 보이게 하지는 않을 것입니다. 그러한 방향의 편향(bias)은 결과값이 평탄하게 나오는 경우, 그 자체로도 AI에 유리하게 작용할 것입니다.
이 논문의 현재 버전은 2026년 8월 4일자이며, 첫 버전은 1월 7일자였습니다. Chen은 이를 자신의 구직 시장 논문(job-market paper)으로 배포했으며, 이 기사를 위해 검토된 버전에는 저널 게재 승인이나 완료된 동료 심사(peer review)를 나타내는 내용은 없습니다. 그녀의 웹사이트에는 The Wall Street Journal과 The Economist에 대한 보도 링크가 나열되어 있으며, 법률 전문지에서도 이번 달에 이를 다루었으며, 여기에는 Doug Austin이 Ars Technica 보고서를 전달한 10월 12일자 eDiscovery Today 게시물도 포함됩니다.
초안은 올라갔지만 완성된 이슈는 아니었다
이러한 출처(provenance)를 고려할 때, 코딩 결과는 상당합니다. 코드 라인 추가량은 작업자-월(worker-month)당 1,494줄 증가하여 기준치 5,017줄 대비 약 30% 상승했습니다. 커밋(commits)은 20% 증가했고, 검토를 위해 제출된 코드 묶음인 풀 리퀘스트(pull requests)는 23% 증가했습니다. 저자들은 이러한 추정치가 이미 AI 코딩 어시스턴트를 보유하고 있던 기업에서 에이전트가 추가한 효과를 포착한 것이지, 처음부터 시작하는 AI의 효과는 아니라고 언급합니다.
성과(Output)는 이 지점에서 상승세가 멈춥니다. 논문은 완료된 작업을 Jira 이슈 해결 건수로 계산하며, 이슈는 코드가 프로덕션 환경에 배포될 때 완료로 간주됩니다. 에이전트는 작업자-월당 0.12건의 변화를 가져왔으며, 기준치는 3.67건이었고 표준 오차(standard error)는 0.17이었습니다. 이 결과는 통계적으로 0과 구별할 수 없었으며, 95% 신뢰 구간은 증가 폭이 기준치의 약 12%를 넘을 수 없음을 보여주어, 코딩된 코드의 30% 상승폭과는 거리가 먼 수치입니다.
저자들은 명백한 회피 경로(escape route)도 테스트했습니다. 만약 엔지니어들이 더 큰 작업으로 전환했다면, 단순히 이슈 건수만으로는 실제 산출량을 과소평가할 것이기 때문입니다. 그래서 연구진은 GPT-4o를 사용하여 이슈의 0.5% 표본을 크기별로 라벨링하고, 이 라벨을 텍스트 임베딩 모델(text-embedding model)을 이용해 모든 이슈에 확장했습니다. 그들은 평균 이슈 크기의 변화는 발견하지 못했으며, 풀 리퀘스트 역시 더 커지지 않았다는 것을 확인했고, 저자들은 이를 검토 과정에서 발생한 현상에 대한 가장 간단한 설명을 배제하는 근거로 사용합니다.
부족분이 나타나는 곳: 코드 검토 대기열
논문은 코딩 검토(code review)에서 이러한 부족분을 발견했습니다. 풀 리퀘스트 제출부터 병합(merge)까지 걸리는 시간은 기준치 7.03일 대비 3.45일 증가하여 49% 상승했습니다. 공식적인 변경 요청을 받은 풀 리퀘스트의 비율은 기준치 13%에서 약 12 퍼센트포인트 증가하여 거의 두 배가 되었고, 풀 리퀘스트당 검토 코멘트는 35% 증가했습니다. 코드 검토를 수행하는 작업자의 비율은 기준치 약 29%에서 14% 상승한 반면, 코드를 작성하는 작업을 하는 비율에서는 측정 가능한 변화가 없었습니다.
AI 검토 도구는 병목 지점을 해소하지 못했습니다. 2026년 3월까지 거의 80%의 기업이 이 도구를 사용했지만, AI가 생성한 검토 코멘트는 23.3%에 불과했고, 풀 리퀘스트(pull requests) 중 단 하나의 AI 코멘트를 받은 비율은 10.8%에 그쳤습니다. 저자들은 기업들이 이러한 도구를 채택했음에도 불구하고 병목 지점이 지속된다고 지적합니다. 논문의 인터뷰 내용은 팀 단위에서 이것이 어떻게 나타나는지를 보여줍니다: 한 주니어 소프트웨어 엔지니어는 오직 한 명의 시니어 엔지니어만이 변경 사항을 승인하고 자신이 검토한 코드를 일주일에 단 한 번만 검토할 수 있었던 프로젝트에 대해 설명했습니다. 이 엔지니어는 “AI가 생성한 커밋으로 인해 몇 차례 장애가 발생한 후, AI 생성 코드에 대한 시니어 엔지니어의 승인이 필요하다는 새로운 규칙이 생겼고, 이는 더욱 많은 검토 병목 지점을 만들었습니다”라고 말했으며, 저자들은 이 인용구를 명확성을 위해 약간 수정했다고 밝혔습니다.
이 사례는 저자들이 수치를 설명하기 위해 사용하는 모델에 부합하며, 이 모델은 두 가지 채널을 가지고 있습니다. 첫 번째 채널에서는 더 빠른 초안 작성이 고정된 검토자 풀(pool)로 더 많은 코드를 보내게 되는데, 이는 노동력을 검토 작업으로 이동시킴으로써 상당 부분 완화할 수 있는 문제입니다. 두 번째 채널은 단순히 빠른 초안 작성만으로는 설명되지 않는 변경 요청 및 코멘트의 증가는 모델 내에서 낮은 품질의 초안을 나타내는 신호로 읽힙니다. 저자들은 이 문제는 더 나은 기술이 필요하다고 말합니다. 에이전트를 구매하는 사람은 어떤 채널이 지배적인지 신경 써야 하는데, 그 이유는 두 가지가 서로 다른 지출 방식을 요구하기 때문입니다.
고용 또한 움직이지 않았다
코딩 효율성 향상 역시 일자리 감소로 나타나지는 않았습니다. 추정치는 전체 고용의 감소 폭이 2.9%를 초과하지 않는다고 제시합니다. 노이즈가 더 많은 추정치에서는 엔지니어링 고용의 감소 폭이 13.8%를 초과하지 않는다고 제시합니다. 저자들은 이것들이 부분 균형(partial equilibrium)에서 측정된 단기적 효과일 수 있으며, 경쟁사 기업에서의 일자리 손실을 가릴 수 있고, 엔지니어링 고용에 대한 보조 추정치는 인과적으로 읽기 어려운 상승 전-추세(upward pre-trends)를 보여준다고 주의를 줍니다.
법률 AI 도구는 유사한 검토 지점을 중심으로 설계된다
이러한 소프트웨어 결과는 법률 AI 도구들이 유사한 설계를 채택함에 따라 나타나고 있으며, Harvey와 Cooley의 발표 모두 이를 따릅니다. 즉, 1차 초안 작성은 자동화하고 검토 지점(checkpoint)에는 변호사를 배치하는 것입니다. LexisNexis와 공동 개발하여 10월 7일에 발표된 Harvey의 워크플로우는 문서 초안 작성 사례입니다. Harvey에 따르면, 소장 읽기, 리서치 및 기각 신청서(motion to dismiss) 초안 작성이라는 다단계 과정은 “일반적으로 40시간에서 50시간 이상이 소요”되며, 이 도구는 연구 자료와 1차 초안을 “단 몇 시간 만에” 산출한다고 합니다. 이번 발표에서는 “변호사의 판단이 가장 중요하게 작용하는 순간의 인간 검토 지점(human checkpoints)”을 설명하고 있지만, 변호사들이 해당 검토 지점에서 얼마나 시간을 보내는지 또는 제출 가능한 신청서에 도달하는 데 얼마나 걸리는지에 대해서는 명시하지 않았습니다.
Cooley가 10월 8일에 발표한 내용은 다른 작업을 대상으로 동일한 자세를 취합니다. 왜냐하면 이 에이전트는 주장 초안 작성보다는 삭제(redactions) 처리를 권장하기 때문입니다. Cooley에 따르면, 해당 에이전트는 아직 개발 중이며, 법원에 제출되기 전에 모든 삭제 결정은 변호사들이 내리게 되므로, 인간 검토 지점은 제출 직전 마지막 단계에 놓이게 됩니다. ComplexDiscovery가 10월 10일에 보도한 바에 따르면, 이 발표는 오류율(error rate)을 포함하고 있지 않습니다.
연방 법원에 제출되는 동의서(motion)의 경우, 체크포인트는 설계 선택이 아닌 법적 의무입니다. 연방 민사소송규칙 11(b)(Federal Rule of Civil Procedure 11(b))에 따라, 동의서를 제출하는 변호사는 자신의 지식, 정보 및 신념에 근거하여 여러 가지 사항을 인증해야 하며, 이는 “상황에 비추어 합리적인 조사가 이루어진 후 형성된 것”이어야 합니다. 그 법적 주장은 “현행법 또는 현행법을 확장, 수정하거나 뒤집거나 새로운 법을 확립하기 위한 비경솔한 주장(nonfrivolous argument)에 의해 보장되어야” 하며, 사실적 주장은 증거 기반을 갖추어야 하거나, 명시적으로 그렇게 식별된 경우 추가적인 조사나 발견 기회가 주어진 후에도 그럴 가능성이 높아야 합니다. 초안은 몇 시간 만에 도착할 수 있지만, 이 조사는 변호사에게 남아 있으며, 소프트웨어 증거는 검토 과정이 일부 초안 작성 시간을 흡수할 가능성을 제기합니다.
이 논문에서 제시하는 방법론은 정보 거버넌스 팀을 위한 두 번째 교훈을 담고 있습니다. 연구원들은 기업 자체 시스템 내부의 흔적(traces)에서 에이전트 사용 사례를 식별했는데, 여기에는 AI 도구와 연결된 봇 계정이나 커밋 메시지 및 풀 리퀘스트 설명에 포함된 “공동 작성됨(Co-authored-by)”과 같은 서명이 포함됩니다. AI 저작성은 협업 시스템 내에 자체적인 메타데이터 흔적을 남길 수 있습니다. 이 흔적은 보존 일정(retention schedule)과 법적 보류(legal hold)가 도달해야 하는 기록이 됩니다.
이 모든 것이 법률 업무가 소프트웨어처럼 작동할 것이라는 의미는 아니며, 비교의 한계가 중요합니다. 문서 검토(Document review)는 코드 검토(code review)와 다르며, 생산물(production)은 풀 리퀘스트(pull request)가 아닙니다. 그리고 Chen과 Stratton은 법률 업무에 대한 연구를 수행하지 않았습니다. 2026년 9월에 수정된 별도의 National Bureau of Economic Research working paper는 50만 명 이상의 GitHub 개발자 데이터를 사용하여 유사한 하락세를 보고합니다. 이 논문의 저자인 Mert Demirer, Leon Musolff, 그리고 Liyuan Yang은 자율 에이전트(autonomous agents)의 커밋 수가 누적적으로 240% 증가했다가 실제 릴리스에서는 30%로 줄어드는 것을 발견했습니다. 해당 논문에는 자체적인 공개 정보가 포함되어 있습니다. Demirer와 Musolff는 각각 GitHub를 소유한 Microsoft에서 박사 후 연구원(postdoctoral research position)을 거쳤으며, 현재 두 사람 모두 이 회사에 유료 연구 컨설턴트로 근무하고 있다는 내용입니다. 두 가지 소프트웨어 연구는 법무법인에 대한 발견이 아니라 소프트웨어 자체의 패턴을 지적합니다.
문서 검토는 부분적인 선례를 제공한다