자체 호스팅 AI 코드 리뷰: 2026년 구매 가이드

(CodeOtter 블로그에서 크로스 포스팅됨. 이 기사의 표준적이고 항상 최신 버전은 codeotter.io에 있습니다.)

(본 게시물은 2026년에 셀프 호스팅 AI 코드 리뷰와 $24–$72/dev/mo SaaS 업계 주자들 사이에서 결정하는 엔지니어링 리드를 위한 필드 가이드입니다.)

2026년 모든 플랫폼 리드가 던지는 질문

우리가 만나는 모든 엔지니어링 팀은 2026년에 동일한 대화를 나눕니다. "호스팅된 AI 리뷰어에 $24–$72/dev/mo를 계속 지불할 것인가, 아니면 셀프 호스팅을 할 것인가?" 솔직히 말하자면, 이 질문은 공급업체 선호도보다는 다섯 가지 아키텍처적 질문에 관한 것입니다. 이 다섯 가지에 답하면, 공급업체는 자연스럽게 걸러집니다.

이 가이드에서는 그 다섯 가지 질문들을 살펴보고, 2026년 수치를 반영하며, 엔지니어링 리드가 갱신 계약을 체결하거나 셀프 호스팅 파일럿을 시작하기 전에 검토해야 할 매트릭스를 보여줍니다. TL;DR은 상단에, 계산은 아래에 있습니다.

구매를 결정하는 다섯 가지 질문

2026년의 모든 AI PR 리뷰어(호스팅 방식이든 셀프 호스팅 방식이든)는 이 다섯 가지 질문에 답하거나 (혹은 실패합니다). 이들은 공급업체별로 특정한 것이 아닙니다. 아키텍처적인 문제입니다.

1. 리뷰 과정에서 코드는 어디에 있습니까? (개인 정보 보호 / 데이터 라우팅)
2. 점수가 보정되었습니까, 아니면 LLM이 점수를 매긴 것처럼 느껴지는 것입니까? (보정 / Score)
3. 엔지니어 50명 기준으로 3년간 비용은 얼마입니까? (TCO: 총 소유 비용)
4. 아웃바운드 네트워크 호출 없이, 에어갭(air-gapped) 환경에서 실행할 수 있습니까? (오프라인 / air-gap)
5. 병합 게이트(merge gate)에서 AGENTS.md / CLAUDE.md를 강제 적용합니까? (팀 규칙)

만약 공급업체가 이 중 하나에 대해 서면으로 — 엔드포인트, 게이트 이름 또는 호스팅 다이어그램과 함께 — 답변할 수 없다면, 그들은 아키텍처를 가진 것이 아니라 느낌(vibe)을 가진 것입니다. 건너뛰십시오.

질문 1 — 코드는 어디에 있습니까?

2026년의 모든 호스팅형 AI 리뷰어에 대한 기본 답변은 다음과 같습니다: diff가 사용자의 GitHub 테넌트(tenant)를 벗어나 공급업체(vendor)의 클라우드에 도달합니다. CodeRabbit은 AWS로, Greptile은 자체 관리 SaaS(Software as a Service)로, GitHub Copilot Code Review는 Microsoft의 테넌트로, Qodo Merge는 그들만의 곳으로 라우팅됩니다. 이들은 모두 원격 측정(telemetry)을 요구하며, 모두 DPA(Data Processing Agreement)를 요구합니다. 그리고 감사할 수 없는 SOC 2 Type II 보고서 없이는 "사용자의 diff가 우리 디스크에 절대 닿지 않았다"고 신뢰성 있게 말할 수 있는 곳은 없습니다.

B2B SaaS를 판매하는 스타트업에게 이것은 대부분의 팀이 감수하는 트레이드오프입니다. 하지만 규제 대상 플랫폼 팀 — PCI(Payment Card Industry) 하의 핀테크, HIPAA(Health Insurance Portability and Accountability Act) 하의 헬스케어, FedRAMP(Federal Risk and Authorization Management Program) 하의 정부 기관, ITAR(International Traffic in Arms Regulations) 하의 국방 분야 — 에게는 심각한 장애물입니다. ICP-1 구매자(개인 정보 보호를 최우선으로 하는 플랫폼 팀, 엔지니어 25~250명 규모)는 법률/규정 준수 티켓에서 "독점 코드를 제3자에게 보낼 수 없다"고 명시하는 곳입니다. 이 티켓을 닫아줄 SLA(Service Level Agreement)는 존재하지 않습니다.

건축학적 해결책은 제로 원격 측정(zero telemetry)의 자체 호스팅입니다: 리뷰가 사용자의 하드웨어에서 Docker 컨테이너 또는 Compose 스택으로 실행되며, 모델은 관리자 시간에 한 번 로컬 pb_data 볼륨에 다운로드되고, 리뷰 중 유일한 외부 호출은 GitHub 웹훅(webhook)으로만 이루어집니다. 이는 리뷰 호스트에서 tcpdump를 사용하여 증명할 수 있습니다. CodeOtter의 오프라인 모드 게시물이 아키텍처 과정을 설명합니다.

만약 코드가 VPC(Virtual Private Cloud)를 벗어날 수 있다면, 자체 호스팅이 필요하지 않습니다. 만약 그렇지 않다면, 이미 그렇게 하고 있는 것입니다.

질문 2 — 점수는 보정되었습니까?

2026년의 모든 호스팅형 AI 리뷰어는 채팅 모델에게 "이 PR(Pull Request)에 대해 0점에서 100점 사이의 점수를 매겨달라"고 요청하여 수치적 점수를 생성합니다. 잘 알려진 실패 모드는 75–85 클러스터링 문제입니다: GPT-5나 Claude, 또는 Gemini에게 연속으로 열 개의 PR을 점수화하도록 요청하면, 해당 PR이 오타인지, 설정 변경(config flip)인지, 아니면 인증 경로에 대한 600줄 리팩토링인지와 관계없이 답변들이 80점 주변의 좁은 범위에 모여드는 현상이 발생합니다. 이는 15줄 스크립트와 사용자의 최근 열 개 PR을 통해 직접 증명할 수 있습니다.

구조적인 해답은 점수 산정 엔진(scoring engine)과 서술 엔진(narrative engine)을 분리하는 것입니다. CodeOtter는 바로 이 이유 때문에 듀얼-엔진(dual-engine) 아키텍처를 탑재하고 있습니다. 결정론적 System 1 루브릭 엔진 (POST /v1/systemone)이 Quality, Blast Radius, Risk, Tests, Readability, PR Hygiene 등 모든 0–100점 게이지와 9개의 이진 사전 병합 게이트(Title, Description, Security, Complexity, Tests, Docs, Scope, Guidelines, Issue Requirements)를 소유합니다. 채팅 모델은 점수에 대한 토큰을 절대 받지 못합니다. 대신, 실행 요약(executive summary), 파일 설명(file walkthrough), 그리고 인라인 suggestion 블록을 작성합니다. 두 엔진 모두 독립적으로 작동할 수 있으며, 대시보드를 통해 알려진 좋은 상태의 AGENTS.md 변경 사항에 대해 System 1만 단독으로 재실행할 수 있습니다.

이것이 조달 논의에서 의미하는 바는 다음과 같습니다. CodeOtter가 제시한 Quality: 42점은 재현 가능합니다. 루브릭이 이유를 설명해주기 때문에 사후 검토(postmortem)에서도 이를 방어할 수 있습니다. 반면, 채팅-LLM 전용 리뷰어가 제시한

질문 4 — 인터넷 연결 없이 운영 가능한가? (Air-gapped)

air-gapped / 규제 인프라 운영자(국방, 정부, 중요 기반 시설 등, 실행 시점에 외부 네트워크 출구(egress)가 없는 온프레미스 GPU 장비)의 경우 답변은 이분법적입니다: 예 또는 아니오, 그리고 증거와 함께. 조달 규칙: 검토자가 air-gapped 상태라는 것은 호스트의 네트워크 케이블을 뽑은 상태에서 전체 PR 리뷰를 실행하고 해당 PR 스레드에 점수표(scorecard)를 생성할 수 있다는 것을 의미합니다.

2026년의 아키텍처적 답변은 관리자 시간에 모델을 한 번 다운로드하여 로컬에서 실행하는 것입니다. CodeOtter는 기본적으로 다섯 가지 오픈 가중치 체크포인트(로컬 하드웨어에서 작동 방식)를 제공합니다: Laya Typed-Decisions와 Kev 0.8B는 ggmlc 사이드카를 사용하고; Qwen2.5-Coder 1.5B / 7B는 llama.cpp의 llama-server를 사용하며; Microsoft CodeReviewer는 Python 사이드카를 사용합니다. Admin → 로컬 모델 흐름은 Hugging Face URL을 통해 각 모델을 다운로드하고, modelReady로 샤드를 검증하며, Vulkan(Linux/Windows) 또는 Metal(macOS arm64)을 자동으로 감지하고, 15분 동안 유휴 상태인 런타임을 종료합니다. 자동 업데이트도 없고, 원격 측정(telemetry) 기능도 없으며, SaaS 대체 기능도 없습니다. models.json 레지스트리는 사용자가 편집할 수 있습니다.

최고의 서술적 리뷰를 원한다면, System 2에 Claude나 OpenAI를 BYOK(Bring Your Own Key) 방식으로 연결하세요. System 1의 핵심은 숫자가 LLM에 의존하지 않는다는 것입니다. System 1은 오프라인에서, System 2는 온라인에서 분리하여 실행할 수 있습니다.

Question 5 — 병합 게이트에서 AGENTS.md를 강제하는가?

대부분의 팀은 이미 팀 규칙 문서를 가지고 있습니다. 이는 보통 AGENTS.md, CLAUDE.md 또는 .github/copilot-instructions.md와 같은 이름으로 불립니다. 이는 이상적인 목표일 뿐입니다. 자동화된 시스템 중 어느 것도 이 문서를 병합 게이트에서 읽지는 않습니다. 이 문서를 무시하는 리뷰어는 월 $24–$72 상당의 개발자당 비용을 벌지 못한 리뷰어에 지나지 않습니다.

아키텍처적 답변은 저구성(zero-config) 자동 감지이며, 위반 시 폐쇄 실패(fails closed)를 하는 타입 지정된 Guidelines 병합 게이트입니다. CodeOtter는 첫 번째 검토 시 리포지토리 루트에 있는 AGENTS.md와 CLAUDE.md를 읽고, 해당 규칙을 모든 후속 프롬프트에 주입하며, 스코어카드에 이진(binary) 형태의 Guidelines 게이트를 방출합니다. 팀이 "노이즈"로 표시하는 발견 사항은 클릭 한 번으로 무시할 수 있으며, 이 무시는 repoSettings[repo].learnings라는 팀 학습 기록으로 남아 해당 발견 사항이 다음 검토에서 다시 나타나지 않게 합니다. 병합 게이트 의미론(merge-gate semantics)에 대한 심층 분석은 AGENTS.md as a merge gate를 참고할 수 있습니다. 실제 흐름은 다음과 같습니다: 발견 사항 무시 → 기록 유지 → 재검토 시 다시 플래그 지정되지 않음.

.coderabbit.yaml 또는 .pr_agent.toml을 유지하도록 요구하는 SaaS 리뷰어는 이미 AGENTS.md에 존재하는 내용을 복사하려는 사람일 뿐, 상황 파악을 못한 리뷰어입니다.

아키텍처 매트릭스

다섯 가지 질문에 답변했다면, 나머지 부분은 자연스럽게 도출됩니다. 아래 행들은 2026년에 유효한 아키텍처적 주장이며, 이는 단순한 벤치마크 쇼가 아니라 각 제품의 형태 그 자체입니다.

내재화해야 할 단 하나의 문장: 만약 당신의 코드가 VPC를 벗어날 수 있다면, CodeOtter는 필요하지 않습니다. 만약 벗어날 수 없다면, 이미 가지고 있는 것입니다.

솔직한 관점 — 셀프 호스팅이 잘못된 선택인 경우

신뢰할 수 있는 구매 가이드는 자체적인 약점을 언급합니다. 다음 중 하나라도 해당된다면 자체 호스팅은 잘못된 선택일 수 있습니다:

• 가장 세련된 SaaS 대시보드를 원하고 코드 저장 위치에 신경 쓰지 않는 경우. CodeRabbit의 UX가 우수하며, CodeOtter는 기능적이지만 화려하지 않습니다. CodeRabbit을 유지하세요.
• 매일 전체 레포지토리(full-repo) 그래프 Q&A 워크플로우를 사용하는 경우. Greptile의 레포지토리 그래프 Q&A는 정말 훌륭합니다. 이것이 일상적인 루프의 일부라면 전환 계획을 세우세요.
• 플랫폼 대역폭(platform bandwidth)이 없는 경우. CodeOtter의 '무료'라는 문구는 월 4시간 분량의 업그레이드와 패치 없이는 공짜가 아닙니다. 운영 예산이 없는 5인 스타트업은 호스팅된 리뷰어에 머물러야 합니다.
• 재현 가능한 수치보다 최고의 서사(narrative)를 원하는 경우. 7B Qwen으로는 미묘한 비평에서 GPT-5와 맞설 수 없습니다. Point System 2는 BYOK을 통해 GPT-5나 Claude를 사용하고, System 1의 수치는 LLM에 의존하지 않습니다.

CodeOtter는 자체 호스팅 및 커스터마이징이 무료입니다. 팀에 맞는 결정을 내리세요.

계약하기 전에 물어봐야 할 8가지 공급업체 질문

공급업체는 3년 계약을 체결하기 전에 이 모든 것을 엔드포인트와 다이어그램과 함께 단일 문서로 답변해야 합니다. 만약 그 어떤 것에 대해서도 '영업팀 문의' 뒤에 숨는 공급업체라면, 그들을 평가하는 데 필요한 엔지니어링 시간을 투입하지 않고서는 규모를 측정할 수 없는 공급업체입니다.

1. 좌석당(per-seat), 작성자당(per-author), PR당(per-PR)으로 비용이 어떻게 분해됩니까? 공식(formula)을 보여주세요.
2. PR 리뷰 한도(cap)를 초과하면 어떻게 됩니까? 대시보드가 저하됩니까, 아니면 초과분에 대해 청구됩니까?
3. 텔레메트리(telemetry) 기본 설정은 무엇입니까? 끌 수 있습니까, 아니면 DPA가 필요합니까?
4. 제 코드는 리뷰 과정에서 어디를 거치게 됩니까? 제3자 클라우드를 건드리나요?
5. 병합 게이트(merge gate)에서 AGENTS.md / CLAUDE.md를 어떻게 강제할 수 있습니까? 자동 감지 기능이 지원되나요?
6. PR을 거쳐 팀의 학습 내용을 어떻게 지속시킬 수 있습니까? 클릭 한 번으로

만약 공급업체가 질문 14에 대한 답변으로 "영업팀 문의(call sales)"라고 한다면, 그 업체는 제외하십시오. 만약 질문 58의 답변에서 엔드포인트(endpoint)나 파일 경로를 언급한다면, 당신은 12개월 규모의 파일럿 프로젝트 가치가 있는 공급업체와 대화하고 있는 것입니다.

ICP별 의사결정 매트릭스

2026년 구매자는 네 가지 형태 중 하나에 속합니다: