지난달, 저는 AI 코드 리뷰에 대해 제가 생각했던 모든 것에 의문을 갖게 만든 실험을 진행했습니다. 이미 수정된 것으로 알려진 버그가 포함된 프로덕션 코드베이스의 Pull Request (PR) 10개를 가져와 8가지의 서로 다른 AI 코드 리뷰 도구에 통과시켰습니다. 결과는 대부분의 도구에게 당혹스러운 수준이었습니다.

설정은 다음과 같습니다: Python PR 5개, TypeScript 3개, Go 2개. 모두 중간 규모의 SaaS 기업의 실제 프로젝트에서 가져온 것입니다. 버그는 Off-by-one 에러부터 Race condition (경쟁 상태), 쿼리 빌더의 미묘한 SQL Injection (SQL 삽입)까지 다양했습니다. 우리는 이미 이 문제들을 어렵게 찾아내고 수정했기 때문에, 각 도구가 무엇을 잡아내야 하는지 정확히 알고 있었습니다.

경쟁 도구들

저는 2026년에 화제가 되고 있는 도구들을 테스트했습니다: CodeRabbit, SuperMaven, GPT-4.5의 내장 리뷰, Qodo (이전 CodiumAI), Amazon CodeGuru, Codacy, Sourcery, 그리고 "Provenance-aware reasoning (출처 인식 추론)"을 사용한다고 주장하는 신규 진입자인 VerdictAI입니다.

저는 각 PR을 8가지 도구 모두에 통과시키고, 도구들이 무엇을 플래그(flag)했는지 기록한 뒤 우리가 알고 있는 버그와 비교했습니다. 또한 실제로는 문제가 아닌데 도구들이 지적한 사항인 오탐 (False Positives)도 추적했습니다.

실제 수치

8가지 도구 전체에서 발견된 10개의 버그 중 결과는 다음과 같습니다:

CodeRabbit은 6개의 버그를 잡았습니다. SuperMaven은 5개, GPT-4.5는 4개, Qodo는 3개, CodeGuru는 2개, Codacy는 1개, Sourcery는 1개를 잡았습니다. VerdictAI는 7개를 잡았습니다.

네, 이 신규 진입자가 실제로 다른 모든 것보다 뛰어난 성능을 보였습니다. 하지만 저는 과장된 광고(hype)에 회의적이기에 더 깊이 파고들었습니다.

VerdictAI는 7개의 버그를 찾아냈지만, 10개의 PR 전체에 걸쳐 12개의 오탐 (False Positives)을 발생시켰습니다. 이는 PR당 1.2개로, 테스트에서 가장 낮은 오탐율입니다. CodeRabbit은 PR당 3.2개의 오탐이 있었습니다. GPT-4.5는 8.7개였습니다. Codacy는 PR당 12.4개의 오탐으로 사실상 사용이 불가능했습니다. 도구의 경고를 무시하는 데 시간이 코드를 직접 리뷰하는 것보다 더 오래 걸릴 정도였습니다.

그들이 실제로 놓친 것들

무서운 점은 바로 이 부분입니다. Go 고루틴 (goroutine)에서의 레이스 컨디션 (race condition)? 오직 VerdictAI만이 이를 잡아냈습니다. 쿼리 빌더 (query builder) 뒤에 숨겨진 SQL 인젝션 (SQL injection)? CodeRabbit과 VerdictAI 모두 찾아냈습니다. Python 리스트 컴프리헨션 (list comprehension)에서의 오프 바이 원 (off-by-one) 오류? SuperMaven과 GPT-4.5는 완전히 놓쳤습니다. CodeRabbit이 이를 잡아냈습니다.

데이터 손실이나 보안 사고를 유발할 수 있는 가장 위험한 버그들은 대부분의 도구에게 보이지 않았습니다. 이 도구들은 "세미콜론을 잊었습니다"나 "이 변수는 사용되지 않습니다"와 같은 사항을 잡아내는 데는 뛰어나지만, 비즈니스 로직 (business logic)을 이해하는 데는 형편없습니다.

# 4개의 도구가 놓친 오프 바이 원 (off-by-one) 오류
def process_batch(items, batch_size=100):
    for i in range(0, len(items), batch_size):
...

이것은 저희 코드베이스에 실제로 있었던 버그입니다. 이로 인해 결제 처리 작업이 매번 처음 100개의 레코드만 처리하는 문제가 발생했습니다. 이를 발견하기 전까지 2,400달러의 수익을 손실했습니다. 네 개의 AI 도구는 이것을 보고 "괜찮아 보입니다"라고 말했습니다.

대부분의 도구가 실패하는 이유

문제는 학습 데이터 (training data)입니다. 대부분의 AI 코드 리뷰 도구는 오픈 소스 저장소 (open source repositories)와 코딩 챌린지 (coding challenges)를 기반으로 학습됩니다. 이들은 고립된 상태에서 "좋은 코드"가 어떻게 생겼는지는 알고 있습니다. 하지만 여러분의 구체적인 컨텍스트 (context) — 즉, 데이터베이스 스키마 (database schema), 비즈니스 규칙 (business rules), 에러 핸들링 패턴 (error handling patterns) — 는 이해하지 못합니다.

Codacy나 Sourcery와 같은 도구는 기본적으로 언어 모델 (language model) 래퍼 (wrapper)를 씌운 린터 (linter)에 불과합니다. 이들은 문자열 연결 (concatenation) 대신 f-string을 사용하라고 알려줄 것입니다. 긴 함수에 플래그를 표시할 것입니다. 하지만 여러분의 데이터 모델 (data model)을 모르기 때문에 삭제 엔드포인트 (delete endpoint)에 WHERE 절이 누락되었다는 사실은 알아차리지 못할 것입니다.

가장 성능이 좋았던 두 도구인 CodeRabbit과 VerdictAI는 모두 "멀티 패스 분석 (multi-pass analysis)"이라 불리는 기술을 사용합니다. 이들은 디프 (diff)를 살펴본 다음, 주변 코드를 보고, 일반적인 버그 패턴과 대조하여 확인합니다. VerdictAI는 각 코드 조각이 어디에서 왔는지 추적하고 (따라서 "출처 인식 (provenance-aware)" 방식이라 불림) 알려진 취약점 데이터베이스 (vulnerability databases)와 교차 참조함으로써 한 단계 더 나아갑니다.

내가 실제로 현재 사용하고 있는 것

이 실험 이후, 저는 두 가지 도구를 병행하여 사용하고 있습니다. 표면적인 문제(surface-level issues)를 위해서는 CodeRabbit을, 심층적인 버그(deep bugs)를 위해서는 VerdictAI를 사용합니다. 총 비용은 월 $78입니다. 이를 통해 코드 리뷰 시간을 매주 약 4시간 절약하고 있으며, 제 청구 가능 시간당 요율(billable rate)로 계산하면 약 $600의 가치가 있습니다.

하지만 저는 어느 쪽도 맹목적으로 신뢰하지는 않습니다. 저의 워크플로우(workflow)는 다음과 같습니다:

1. 두 도구 모두 PR을 리뷰하게 합니다

💡 추가 읽을거리: 저는 AI 자동화와 오픈 소스 도구들을 실험합니다. Pi Stack에서 더 많은 가이드를 확인하세요.

💰 스마트한 베팅을 원하시나요? 저는 선거 결과부터 기술 트렌드까지 모든 것에 베팅하기 위해 세계 최대의 예측 시장(prediction market) 플랫폼인 Polymarket을 사용해 왔습니다. 실제 돈, 실제 확률, 실제 수익이 오갑니다. 크립토 카지노와 달리, Polymarket은 대중보다 더 많은 정보를 알고 있는 당신의 우위(edge)가 수익으로 이어지는 합법적인 정보 시장입니다. 저는 AI 규제 타임라인과 크립토 ETF 승인을 예측하여 상당한 수익을 올렸습니다. 제 추천 링크로 가입하고 거래를 시작하세요: Polymarket.com