에이전트가 생성한 풀 리퀘스트를 막는 마지막 방어선으로서의 코드 리뷰

풀 리퀘스트(pull requests)의 4분의 1 이상이 에이전트에 의해 작성된다면, 리뷰는 더 이상 품질 게이트(quality gate)가 아닙니다. 그것은 유일한 게이트입니다.

2026년 10월 초에 Max Quimby가 dev.to에 게시한 분석에 따르면, 에이전트가 생성한 풀 리퀘스트가 GitHub PR의 27.6%를 차지하며, 불과 14개월 전에는 1% 미만이었습니다. 같은 글에서 인용한 Anthropic의 2026 Agentic Coding Trends Report는 AI가 새로 작성된 코드에 기여하는 비중이 41%라고 제시합니다.

불편한 점은 수용률(acceptance rates)이 괜찮아 보인다는 것입니다. 분석에서 언급된 에이전트 작성 PR 33,000건에 대한 법의학적 연구 결과, 에이전트는 인간의 91.01% 대비 83.77%의 수용률을 보였습니다. 이 격차는 무시하기에 충분히 작습니다.

실패 지점은 여러분이 찾고 있는 곳이 아닙니다.

에이전트 PR이 실제로 깨뜨리는 것들

연구 결과에 따르면, 에이전트는 오탈자나 구문 오류를 거의 유발하지 않습니다. 대신, 컴파일은 깔끔하게 되지만 다른 무언가를 위반하는 코드를 생성합니다:

• 에이전트가 제공된 파일에서 본 적 없는 API 계약(API contracts)
• 실행 중인 시스템 내에만 존재하는 서비스 간 종속성(Cross-service dependencies)
• 레포지토리(repo)가 아닌 팀의 머릿속에 존재하는 아키텍처 결정(Architectural decisions)

이 분석은 반복되는 문제들을 네 가지 실패 모드(failure modes)로 분류하며, 각기 다른 방어책을 요구합니다. 에이전트 PR을 마치 인간의 추론이 뒤에 있는 것처럼 리뷰하는 것은 네 가지 중 세 가지를 놓치게 만듭니다.

실패 모드 1: 에이전트는 전체 시스템을 볼 수 없다

첫 번째 모드는 맥락적(contextual)입니다. 이 글은 2026년 생산성 역설(productivity paradox)에 대한 FeatBit의 분석을 인용하며, 누락된 맥락을 네 가지 종류로 나눕니다: 비즈니스가 실제로 필요로 하는 것, 코드베이스가 어떻게 서로 맞물리는지, 이전 리뷰어들이 지적했던 사항, 그리고 팀 내부의 불문율(unwritten conventions)입니다.

피해는 측정 가능합니다. 해당 게시물에서 인용한 MSR 2026 실증 연구에 따르면, 거부된 에이전트 PR 중 23%가 다른 기여자가 이미 같은 이슈를 작업하는 동안 제출된 중복(duplicates) 내용이었습니다. Stack Overflow의 엔지니어링 블로그 보고서에 따르면 AI 생성 코드는 인간 코드보다 버그를 1.7배 더 많이 포함하며, 로직 및 정확성 오류는 1.75배, 보안 취약점 발견은 1.57배 더 빈번하게 발생합니다.

같은 연구에서는 에이전트 PR 중 약 28%가 거의 즉시 병합(merge)되는 것으로 나타났습니다. 작고 범위가 잘 정의된 변경 사항이 안전지대입니다. 서비스나 아키텍처 경계를 넘어서는 곳에서 에이전트들이 어려움을 겪습니다.

방어선: CI 단계에서 Pact 또는 Specmatic 같은 도구로 실행되는 계약 테스트(contract tests)를 사용해야 합니다. 여기에 ArchUnit 스타일로 강제하는 아키텍처 규칙을 추가합니다. Greptile 데이터에 따르면 Codex는 인간 기준선 10% 대비 5~6%의 재작업률을 보입니다.

실패 모드 2: 세련된 diff, 취약한 배포

두 번째 모드는 제시(presentation)의 역설입니다. 해당 게시물에서 인용한 New Relic의 2026년 AI 코딩 현황 보고서에 따르면, 엔지니어링 리더의 94%가 검토 시점에 AI 생성 코드를 인간 코드보다 더 높은 품질로 평가했습니다. 그러나 같은 응답자의 78%는 배포된 후 더 많은 사고(incidents)를 보고하며, 82%는 6개월 이내에 AI 생성 코드와 관련된 프로덕션 실패를 최소 한 번 경험했고, 74%는 1년 이내에 상당한 재작업이 필요하다고 답했습니다.

한편, 팀의 62%가 현재 라인별 수동 검증 없이 AI 생성 코드를 배포하고 있습니다.

구조적인 설명은 다음과 같습니다. 에이전트들은 잘 작성된 코드가 페이지 상에서 어떻게 보이는지는 흡수했지만, 동시 부하(concurrent load), 오래된 캐시(stale caches), 부분 네트워크 실패 또는 서드파티 API가 성공 응답 대신 오류를 반환하는 상황에서 올바른 동작이 어떻게 유지되는지에 대해서는 이해하지 못합니다. 해당 게시물에 인용된 Addy Osmani는 이를 다음과 같이 요약했습니다.

방화벽 (The gate): Hypothesis나 fast-check 같은 도구를 사용한 속성 기반 테스트(property-based testing)로, 에이전트가 암기할 수 있는 고정된 입력-출력 쌍 대신 불변 조건(invariants)을 확인합니다. 프로덕션 트래픽으로 동작을 판단하게 하는 카나리 배포(Canary deployments). 텍스트상의 변화가 아닌 행동적 변화를 드러내는 의미론적 차이 분석(Semantic diffing).

1. 게이트에서의 계약 테스트(Contract tests at the gate). 실패는 당신이 인코딩하지 못한 계약입니다. 만약 테스트에서 경계를 표현할 수 없다면, 에이전트도 그것을 볼 수 없습니다.
2. 예시 테스트가 아닌 속성 기반 테스트(Property-based tests, not example tests). 예시 테스트는 에이전트에게 암기할 정확한 쌍을 제공합니다. 불변성(Invariants)은 모델이 당신이 예측하지 못한 무언가를 할 때 확인할 수 있는 것을 제공합니다.
3. 위험한 모든 것에 대한 병합 전 카나리 배포(Canary before merge for anything risky). New Relic의 수치에 따르면, 다듬어진 diff가 실패를 배포합니다. 프로덕션 트래픽이 폭발 반경을 제한하며 결정하도록 하십시오.
4. 범위가 지정된 인간 게이트(A human gate with a scope). 리뷰어 시간은 제약입니다. 작고 범위가 잘 지정된 변경 사항은 자동 병합하고, 경계를 넘나드는 모든 것은 시스템을 아는 인간에게 라우팅해야 합니다.
5. 수용률이 아닌 재작업률 측정(Measure rework, not acceptance rate). 수용 격차는 실패가 다운스트림이기 때문에 온순해 보입니다. 대신 AI 생성 코드와 연결된 사고, 재작업, 프로덕션 실패를 추적하십시오.

제가 확신하지 못하는 부분

27.6%라는 수치와 33,000 PR 연구는 Quimby의 분석과 제가 이를 읽은 것을 통해 간접적으로 얻은 것입니다. 공급업체 설문조사(New Relic, Stack Overflow, Faros)는 자가 보고이며 정확도보다는 방향으로 읽어야 합니다. 저는 대규모 에이전트-PR 집단에 대해 이러한 게이트를 직접 실행해 본 적이 없습니다. 제가 베팅하기 전에 원하는 수치는 저 자신의 레포지토리의 재작업률과 AI 생성 코드와 연결된 프로덕션 실패 횟수입니다.

구조적 논증은 정확한 숫자가 필요하지 않습니다. 만약 코드 생성이 저렴해지는 반면 이해는 여전히 비싸다면, 그때 중요한 게이트는 '이해'를 검증하는 게이트일 것입니다. 그 게이트가 바로 코드 리뷰이며, 위에서 언급된 실패들을 위해 구축된 툴링이 필요합니다.

출처

출처

• Max Quimby, "Agent-generated PRs surged from under 1% to 27.6% of GitHub pull requests," dev.to, 2026년 10월 초. 인용된 모든 수치에 대한 보조 자료; 원본 보고서 링크는 내부에 있습니다. [https://dev.to]
• Anthropic, 2026 Agentic Coding Trends Report (위에서 인용됨; 원본 검색 불가).
• MSR 2026 empirical study of 33,000 agent-authored PRs (위에서 인용됨; 원본 검색 불가).
• New Relic, 2026 State of AI Coding report (위에서 인용됨; 원본 검색 불가).
• Stack Overflow engineering blog, AI-generated code bug-density analysis (위에서 인용됨; 원본 검색 불가).
• Faros AI telemetry on PR volume and review time (위에서 인용됨; 원본 검색 불가).
• Greptile data on Codex rework rates (위에서 인용됨; 원본 검색 불가).

이 게시물은 AI의 도움을 받아 작성되었습니다. 저자가 내용에 대한 책임을 집니다.