10배 빠른 PR, 1배의 리뷰어: 코드 품질의 병목 현상

Amazon 직원들에게는 "Sloppenheimer"라고 불리는 Slack 채널이 있습니다. 그들은 이 채널을 통해 회사의 AI 코딩 도구인 Kiro를 조롱하며, Kiro의 보라색 유령 로고를 편집한 밈(meme)을 공유합니다. 경영진이 도입을 장려하기 위해 내부 AI 사용 리더보드를 출시했을 때, 엔지니어들은 이를 악용(game)했고 결국 Amazon은 이를 폐쇄했습니다. "우리의 에이전트(agents)는 더 빠르게 배포한다"와 "우리의 엔지니어들은 쓰레기(slop)에 빠져 허우적대고 있다" 사이의 간극은 그 어느 때보다 벌어져 있습니다.

차트와 임베디드 소스가 포함된 전체 버전은 AgentConn에서 확인하세요

같은 주에 Jesse Skinner는 "AI 록스타 개발자들의 뒷수습하기("Cleaning Up After AI Rockstar Developers")를 게시했으며, 이 글은 264개 이상의 댓글과 함께 Hacker News 상위권에 올랐습니다. 그는 컴파일하는 데 10GB의 RAM이 필요하고, 수천 개의 린트(lint) 에러를 포함하고 있으며, 수십 개의 서로 다른 AI 채팅 세션을 통해 "바이브 코딩(vibe coded)"된 Next.js 앱을 물려받았습니다. 그의 설명은 마치 펀치처럼 강렬했습니다:

"바이브 코딩된 쓰레기 더미는 단 한 명의 인공 개발자에 의해 작성된 것이 아닙니다. 그것은 수많은 서로 다른 채팅과 수많은 서로 다른 컨텍스트(context)를 통해 생성되었습니다. 그것은 마치 수백 명의 서로 다른 록스타들이 한 번에 하나의 기능씩 작성해 놓은 코드베이스와 같습니다."

Hacker News에서 보기 →

이것들은 고립된 사건들이 아닙니다. 이는 업계 전반의 구조적인 문제의 증상입니다. AI 코딩 에이전트(coding agents)는 코드 생성량을 10배로 늘렸지만, 인간의 리뷰 역량은 움직이지 않았습니다. 병목 현상은 코드를 작성하는 것이 아니었습니다. 그것은 언제나 코드를 배포해도 될지 판단하는 것이었습니다.

수치로 보는 현황: 4.6배 길어진 대기 시간, 67%의 실패율

LinearB의 2026 소프트웨어 엔지니어링 벤치마크 보고서(Software Engineering Benchmarks Report)는 4,800개 이상의 조직에 걸친 810만 개의 풀 리퀘스트(pull requests)를 분석하여 병목 현상을 명확한 수치로 찾아냈습니다:

• AI 생성 PR(AI-generated PRs)은 사람이 리뷰어를 열어보기도 전에 4.6배 더 오래 대기합니다.
• AI 생성 PR의 67.3%가 첫 리뷰에서 실패하는 반면, 사람이 작성한 코드는 15.6%만이 실패합니다.
• AI PR은 평균적으로 154% 더 크며, **75% 더 많은 로직 오류(logic errors)**를 포함하고 있습니다.
• AI를 통해 코드를 25~35% 더 많이 생성하는 팀은 PR 리뷰 시간이 91% 더 길어지는 현상을 겪습니다.

마지막 수치는 엔지니어링 리더들이 경각심을 가져야 할 부분입니다. AI 코드 생성으로 얻은 생산성 이득은 하류(downstream)의 리뷰 비용에 의해 잠식되고 있으며, 심지어 그 이상의 손실이 발생하고 있습니다. 여러분은 더 빠르게 배포하고 있는 것이 아닙니다. 배출되는 속도보다 더 빠르게 쌓여가는 대기열(queue) 속으로 더 많은 코드를 밀어 넣고 있을 뿐입니다.

GitHub의 자체 데이터가 그 규모를 확인해 줍니다: 현재 GitHub의 코드 리뷰 5건 중 1건 이상이 에이전트(agent)를 포함하고 있습니다. Copilot 코드 리뷰는 6,000만 건 이상의 리뷰를 처리했으며, 1년도 채 되지 않아 10배의 성장세를 보였습니다. 이 범람은 실재하며, 가속화되고 있습니다.

_GitHub 블로그에서 보기 →

PR 리뷰 병목 현상에 관한 freeCodeCamp 가이드는 그 경험을 직설적으로 표현했습니다: "AI가 광범위하게 도입된 지 몇 주 만에 나의 리뷰 대기열은 두 배, 세 배로 늘어났습니다. 엔지니어들은 내가 읽을 수 있는 속도보다 더 빠르게 PR을 열어젖혔습니다. 내가 병목 현상이 되었고, 우리 팀의 속도(velocity)는 나의 읽기 속도에 의해 제한되었습니다."

조용한 부채: 품질은 떨어지는데 리뷰어는 기분이 좋다

여기 역설적인 부분이 있습니다. MSR '26에서 발표된 논문 — "More Code, Less Reuse" — 은 실제 저장소(repository)에서 AI가 생성한 풀 리퀘스트(Pull Request, PR)를 연구했으며, LLM 에이전트가 코드 재사용(code reuse) 기회를 빈번하게 무시하여 더 높은 수준의 중복성을 생성한다는 것을 발견했습니다. 하지만 리뷰어들은 이를 잡아내지 못합니다. 해당 논문은 리뷰어들이 인간의 기여보다 AI가 생성한 기여에 대해 더 많은 중립적이거나 긍정적인 감정을 표현하는 경향이 있음을 발견했습니다.

부채는 인지하지 못한 채 쌓여갑니다. 관련 실증 연구는 실제 환경의 저장소 전반에서 AI가 생성한 코드가 인간이 작성한 코드보다 변경당 측정 가능한 수준으로 더 많은 기술 부채(technical debt)를 유발한다는 것을 확인했습니다. CI의 초록색 체크표시는 커져가는 문제를 숨기고 있습니다.

Stack Overflow의 블로그는 LinearB의 수치가 놓치고 있는 인지적 차원인 결정 피로(decision fatigue)를 지목했습니다. "만약 소프트웨어 작업의 대부분이 코딩에서 의사결정으로 이동한다면, 모든 사람이 결정 피로의 압박을 느끼게 될 것입니다. AI 생성 콘텐츠의 80%는 최종 확정 전에 수정되며, AI 생성 코드의 경우 원본 코드를 아무도 작성하지 않았기 때문에 필요한 컨텍스트(context)가 더 큽니다."

_Stack Overflow 블로그에서 보기 →

Google Chrome 팀의 엔지니어링 리드인 Addy Osmani는 이 관점의 전환을 명확하게 정리했습니다: "AI 시대의 코드 리뷰는 다른 종류의 업무입니다. 리뷰어는 정확성(correctness)을 검증하는 것이 아니라, 필요성(necessity)을 판단하는 것입니다."

그리고 Agoda의 Leonardo Stern은 InfoQ에 모두가 생각하지만 차마 말하지 못했던 사실을 공개했습니다: "AI 코딩 도구들이 개별 개발자의 생산성을 측정 가능한 수준으로 높였지만, 프로젝트 수준에서의 결과적인 속도 향상은 놀라울 정도로 미미했습니다. 왜냐하면 코딩은 결코 진정한 병목 현상(bottleneck)이 아니었기 때문입니다." 병목 현상은 항상 상류(upstream) 단계, 즉 사양 정의(specification)와 검증(verification)에 있었습니다. AI는 이미 빨랐던 부분을 가속화했을 뿐입니다.

한편, LogRocket의 분석은 시사하는 바가 큰 통계를 제시했습니다: 시니어 엔지니어의 68%가 AI 코딩 도구로 인한 품질 향상을 보고했지만, 인간의 리뷰 없이 AI가 생성한 코드를 배포(ship)하겠다고 답한 비율은 26%에 불과했습니다. 그 42%포인트의 격차는 바로 신뢰의 결핍입니다. 엔지니어들은 더 생산적이라고 느끼지만, 생성된 결과물을 머지(merge)할 만큼 충분히 신뢰하지는 못합니다.

FrontierCode: 머지 가능성(Mergeability)을 측정하는 벤치마크

테스트 문제는 실패하는 PR보다 더 깊은 곳에 있습니다. 우리가 코딩 에이전트(coding agents)를 평가하기 위해 사용해 온 벤치마크들은 잘못된 것을 측정하고 있었습니다.

Cognition의 FrontierCode 벤치마크는 성공의 정의를 "테스트를 통과하는가"에서 "인간 유지보수자(maintainer)가 실제로 이것을 머지할 것인가?"로 재정의합니다. 그들의 연구 결과에 따르면, SWE-bench 출력물의 절반 이상은 머지할 수 없습니다(unmergeable). 즉, 테스트는 통과하지만 범위(scope), 스타일(style), 유지보수성(maintainability) 또는 회귀 안전성(regression safety) 측면에서 실패한다는 것입니다. 유지보수자가 작성한 3,000개의 루브릭(rubrics)은 각 작업마다 40시간 이상의 전문가 작업이 필요하며, 초록색 체크 표시가 결코 해낼 수 없는 것들을 평가합니다.

[

]

Cognition 블로그에서 보기 →

리더보드 결과는 냉혹합니다:

모델	FrontierCode Diamond	FrontierCode Gold	비고
Claude Opus 4.8	13.4%	—	전반적으로 가장 우수하지만, 어려운 작업의 86.6%에서 여전히 실패함
...

세계 최고의 모델조차 가장 어려운 작업에서는 인간 유지보수자(maintainer)가 실제로 병합(merge)할 확률이 13.4%에 불과한 결과물을 생성합니다. 초록색 체크표시는 언제나 불충분한 검문소였습니다.

Latent Space의 분석은 이 중요성을 입증했습니다: "FrontierCode는 AI 코드가 단순히 실행되는지 여부에서, 인간 유지보수자가 실제로 이를 프로덕션 저장소(production repositories)에 수용할 것인지 여부로 초점을 전환합니다." AI 코딩 에이전트 (AI coding agents)를 평가하는 팀들에게 이 벤치마크는 SWE-bench가 그랬던 것보다 더 중요합니다. 왜냐하면 리뷰어가 실제로 신경 쓰는 부분을 측정하기 때문입니다.

엔터프라이즈 플레이북: 리더들은 어떻게 검문소를 구축하는가

이 문제를 제대로 해결하고 있는 조직들은 단순히 리뷰 도구를 구매하고 끝내지 않습니다. 그들은 평가자 에이전트 핸드오프(evaluator-agent handoff) 패턴을 사용하여 리뷰 인프라를 구축하고 있습니다.

Meta의 RADAR: 위험 보정 자동 승인 (Risk-Calibrated Auto-Approve)

Meta의 RADAR 시스템 (Risk-Aware Diff Auto Review)은 우리가 본 것 중 가장 정교한 구현체입니다. 이 시스템은 리뷰를 건너뛰는 것이 아니라, 리뷰를 보정(calibrating)함으로써 중앙값 종료 시간(median time-to-close)을 330% 이상, 중앙값 디프(diff) 리뷰 소요 시간(median diff review wall time)을 35% 단축합니다. RADAR는 서로 다른 자동화 소스 유형에 대해 별도의 기준을 적용합니다: 결정론적 코드 수정(deterministic codemods), AI 생성 코드 수정(AI-generated codemods), 그리고 RACER 런북(runbooks)은 각각 Meta의 내부 데이터로 학습된 위험 모델(risk model)에 따라 평가됩니다.

핵심 통찰은 다음과 같습니다: 모든 AI 생성 변경 사항이 동일한 위험을 수반하는 것은 아닙니다. 400개의 파일에 걸쳐 CSS 클래스 이름을 변경하는 봇은 인증 로직(authentication logic)을 리팩터링하는 봇만큼의 정밀한 조사가 필요하지 않습니다. RADAR는 위험도를 점수화하고 안전한 항목은 자동으로 승인하여, 인간 리뷰어가 실제로 판단이 필요한 작업에 집중할 수 있도록 해줍니다.

PyTorch 팀은 이미 자신들의 구현체를 오픈 소스로 공개하기 시작했으며, 다음과 같이 솔직하게 언급했습니다: "PyTorch로 들어오는 많은 PR (Pull Request)이 AI에 의해 작성되었으며, 명백한 성장통이 있었습니다." 2026년 5월 컴파일러 오프사이트(offsite) 이후 작성된 그들의 플레이북(playbook)에는 RADAR의 오픈 소스 재구현이 포함되어 있습니다. 만약 여러분의 코드베이스가 이러한 고통을 느낄 만큼 충분히 크다면, 이것이 바로 연구해야 할 패턴입니다.

Cloudflare의 멀티 에이전트 리뷰 오케스트라 (Multi-Agent Review Orchestra)

Cloudflare의 접근 방식은 규모를 확장하는 방식이 다릅니다. 단일 리뷰어 대신, 그들은 보안, 성능, 코드 품질, 문서화, 릴리스 관리 및 컴플라이언스 (compliance)에 특화된 최대 7개의 전문 리뷰 에이전트 (review agents)를 배치합니다. 코디네이터 에이전트 (coordinator agent)는 발견된 사항들의 중복을 제거하고, 심각도를 측정하며, 하나의 깔끔한 댓글을 게시합니다.

한 달간의 실제 운영 데이터는 다음과 같습니다: 5,169개의 리포지토리 (repos)에서 48,095개의 머지 리퀘스트 (merge requests)를 통해 131,246회 실행되었습니다. 6,460개가 심각(critical) 단계로 분류된 것을 포함하여 총 159,103개의 결과가 도출되었습니다. R&D 채택률은 93%입니다. 이것은 파일럿 프로젝트가 아닙니다. 인프라입니다.

전문 에이전트들이 코디네이터에게 보고하고, 코디네이터가 이를 하나의 실행 가능한 리뷰로 합성하는 이 패턴은 우리가 "리뷰 샌드위치 (review sandwich)"라고 부르는 것입니다. AI가 첫 번째 단계 (폭넓은 검토, breadth)를 수행하고, 코디네이터가 신호를 압축하며 (합성, synthesis), 인간 리뷰어는 아키텍처 및 비즈니스 로직 결정 (판단, judgment)에 집중합니다. 만약 여러분이 팀을 위한 에이전트 아키텍처 (agent architectures)를 구축하고 있다면, 이것이 바로 참조 구현체 (reference implementation)입니다.

툴링 환경: 리뷰당 15~25달러로 얻을 수 있는 것

시장은 이러한 병목 현상에 반응했으며, 가격 책정 방식은 그 가치에 대해 무언가를 말해줍니다.

Anthropic은 2026년 3월, 여러 개의 에이전트(agent)가 병렬로 작동하는 Anthropic Claude Code Review를 출시했습니다. 각 에이전트는 서로 다른 관점에서 코드베이스(codebase)를 검토하며, 마지막 에이전트가 발견된 사항들을 종합하고 순위를 매깁니다. 가격은 리뷰당 15달러에서 25달러 사이입니다. 이것은 범용 상품(commodity)의 가격이 아닙니다. 이는 중요한 가치를 지닌 작업의 가격입니다.

하지만 이러한 가격 책정은 볼륨이 10배로 늘어날 때 수학적인 문제를 야기합니다. 만약 팀이 주당 50개의 PR을 검토하다가 이제 500개를 검토하게 된다면, 리뷰당 15달러라고 가정하더라도 주당 7,500달러의 AI 리뷰 비용이 발생합니다. 이는 애초에 PR을 생성하는 데 들어간 AI 생성 비용과는 별개로 추가되는 비용입니다.