저는 중견 SaaS 기업에 있는 저희 팀을 위해 4개월 동안 AI 코드 리뷰 봇을 구축하는 데 시간을 보냈습니다. 단순해 보였습니다. PR (Pull Request) diff를 LLM (Large Language Model)에 입력하고, 스마트한 피드백을 받아 모두의 시간을 절약하는 것이었죠.

저는 거의 모든 면에서 틀렸습니다. 실제로 어떤 일이 일어났는지 말씀드리겠습니다.

실수 1: LLM이 코드 컨텍스트 (Context)를 이해할 것이라고 가정함

저의 첫 번째 프로토타입은 GPT-4.5를 사용하여 diff를 일반 텍스트로 입력해 PR을 리뷰했습니다. 결과는 처음에는 인상적으로 보였습니다. 누락된 null 체크를 잡아내고, 더 나은 변수 이름을 제안하며, 잠재적인 레이스 컨디션 (Race Condition)을 찾아냈습니다.

하지만 컨텍스트를 환각 (Hallucinating)하고 있었습니다. 한 리뷰에서는 eval()을 사용한다는 이유로 특정 함수를 "안전하지 않음"으로 표시했는데, 알고 보니 그 코드는 의도적으로 동적 평가가 필요한 테스트 헬퍼 (Test Helper)였습니다. 봇은 그 사실을 알 방법이 없었습니다.

실제 실패율은 다음과 같았습니다: "심각한" 제안의 34%가 거짓 양성 (False Positive)이었습니다. 저희 팀은 2주 만에 봇의 리뷰를 읽는 것을 중단했습니다.

배운 점: 주변 컨텍스트가 없는 diff는 쓸모가 없습니다. 모델이 판단을 내리기 전에 전체 파일, 임포트된 의존성 (Dependencies), 그리고 이상적으로는 프로젝트의 코딩 표준 (Coding Standards)을 확인해야 합니다.

실수 2: 저장소별 패턴 (Repository-Specific Patterns) 무시

다음은 저장소별 학습을 추가하기 전과 후의 봇 성능을 보여주는 표입니다:

지표	전 (Raw LLM)	후 (패턴 적용)
거짓 양성 비율 (False positive rate)	34%	11%
...	...	...

해결책은 부끄러울 정도로 간단했습니다. 저희 저장소에서 마지막으로 머지(Merge)된 500개의 PR을 분석하는 스크립트를 작성했습니다. 이를 통해 명명 규칙 (Naming Conventions), 선호되는 에러 핸들링 (Error Handling) 스타일, 테스트 커버리지 (Test Coverage) 기대치와 같은 공통 패턴을 추출했습니다.

# 예시: 과거 PR에서 명명 규칙 추출하기
import re
from collections import Counter
...

저는 이러한 패턴들을 시스템 프롬프트 (System Prompts)로 주입했습니다. 봇은 드디어 저희 팀이 코드를 작성하는 방식과 실제로 일치하는 제안을 하기 시작했습니다. 놀랍게도 말이죠.

실수 3: 모든 커밋 (Commit)에 대해 리뷰 실행

저는 모든 푸시 (Push)에 대해 봇이 리뷰하도록 설정했습니다. 큰 실수였습니다.

일주일 만에 847개의 커밋 (Commit)을 리뷰했습니다. 각 리뷰에는 30~60초가 소요되었습니다. API 비용은 첫 달에만 180달러에 달했습니다. 그리고 인간 리뷰어가 대응할 수 있는 속도보다 리뷰가 더 빠르게 쏟아졌기 때문에 아무도 이를 읽지 않았습니다.

패턴은 명확했습니다. 리뷰의 90%가 2시간 이내에 다시 작성되거나 스쿼시 (Squash)된 커밋에 대한 것이었습니다. 우리는 버려질 코드 (Throwaway code)를 리뷰하는 데 비용을 지불하고 있었습니다.

해결책 (Fix): PR (Pull Request)이

마침내 팀의 실제 PR (Pull Request)에 봇을 실행했을 때, 봇은 레거시 모듈 (Legacy module)의 변경 사항 중 60%를 "나쁜 관행 (Bad practices)"으로 표시했습니다. 봇은 해당 모듈이 다음 분기에 폐기 (Deprecation)될 예정이라는 사실을 이해하지 못했습니다. 팀장은 도입 첫날에 봇 사용을 금지할 뻔했습니다.

해결책은 혹독했습니다: 저는 우리 히스토리에서 300개의 실제 PR을 수동으로 라벨링(Labeling)하여, 어떤 제안이 유용했을지 그리고 어떤 것이 소음 (Noise)이었는지를 표시해야 했습니다. 그런 다음 그 데이터를 사용하여 더 작은 모델 (Mistral 7B)을 미세 조정 (Fine-tuning)했습니다.

미세 조정된 모델은 베이스라인 (Baseline)보다 23% 더 많은 실제 버그를 잡아냈습니다. 하지만 더 중요한 것은, 무관한 제안으로 모두의 시간을 낭비하는 일을 멈췄다는 점입니다.

현재 실제로 작동하는 방식

4개월간의 실패 끝에, 현재 저의 설정은 다음과 같습니다:

-

💡 추가 읽을거리: 저는 AI 자동화와 오픈 소스 (Open-source) 도구들을 실험합니다. 더 많은 가이드는 Pi Stack에서 확인하세요.

💰 스마트한 베팅을 원하시나요? 저는 선거 결과부터 기술 트렌드까지 모든 것에 베팅하기 위해 세계 최대의 예측 시장 플랫폼인 Polymarket을 사용해 왔습니다. 실제 돈, 실제 확률, 실제 수익이 오갑니다. 크립토 카지노와 달리, Polymarket은 대중보다 더 많은 정보를 알고 있는 당신의 우위 (Edge)가 수익으로 이어지는 합법적인 정보 시장입니다. 저는 AI 규제 타임라인과 크립토 ETF 승인을 예측하여 상당한 수익을 올렸습니다. 제 추천 링크로 가입하고 거래를 시작하세요: Polymarket.com