🙆 "Copilot의 리뷰, 이번에도 지적 사항 없음. 병합해도 되겠네."
🤖 "구현된 Claude에게도 리뷰를 부탁하면, 두 사람 분량이 되잖아?"
😇 "릴리스 전 체크? CI가 초록색이니까 괜찮지 않아?"
AI와 혼자 개발하면서 이런 식으로 리뷰를 끝내고 있지는 않으신가요?
제가 개인적으로 개발하는 **아지피타(あじぴた)**에서도 처음에는 Copilot의 리뷰만 받았습니다.
지금은 다른 AI 리뷰를 중첩하여 받고 있는데, Copilot이 '승인 권장/지적 0건'으로 한 PR에서, 병합하면 개발 환경 DB로 마이그레이션이 멈추는 문제가 발견된 적도 있습니다😱
この記事에서는,
- AI의 리뷰를
Copilot・독립 리뷰・릴리스 전 감사의 3단계로 중첩한 설계 -
구현된 세션에 리뷰를 맡기지 않고,
작업의 맥락을 전달하지 않는 서브 에이전트에게 보여주는 이유와 그 방어 방법 -
132개의 PR에서 두 가지 리뷰 지적이 얼마나 달랐는지
을 다룹니다🔧
아지피타의 PR은 거의 모두 Claude Code가 구현했습니다.
리뷰는 다음 3단계입니다.
| 단계 | 언제 | 무엇을 보는가 | 무게 |
|---|
| ① Copilot | PR을 제출할 때 (자동) | GitHub Copilot의 코드 리뷰 | GitHub 측에서 완료 |
| ... | develop → main 릴리스 전 | 9가지 테마를 병렬로 보는 여러 서브 에이전트 + 지적 사항 검증 | 전부 돌리면 65개체・513만 토큰 |
①과 ②는 PR별, ③은 릴리스별입니다.
가벼운 것은 매번, 무거운 것은 릴리스 직전에만 적용합니다⚖️
처음에는 ①만 했습니다. 부족하다고 느낀 이유는 한 종류의 AI만으로는 지적 경향이 편중되기 때문이었습니다.
제 PR을 살펴보면, Copilot은 차이점 주변의 지적이 중심이고, 리포지토리 운영까지 깊숙이 파고드는 경우는 적다고 느껴졌습니다🧐
나중에 관리 화면의 리포지토리에서는 Copilot 사용 한도에 도달하여, PR이 리뷰되지 않은 채 남아 있는 경우도 있었습니다.
하나에만 의존하면, 그것이 오지 않는 날은 리뷰가 0이 됩니다.
'그럼 구현한 Claude Code에게 그대로 리뷰를 부탁하면 되겠지'라고 생각하기 쉽지만, 이것은 약합니다.
구현된 세션은 '왜 이렇게 작성했는지'를 모두 기억하고 있습니다.
그 맥락으로 코드를 읽으면, 자신의 판단에 치우친 리뷰가 됩니다. 사람이 자신의 코드를 재검토할 때와 같습니다😅
그래서, /independent-review
라는 스킬을 만들고, 작업의 맥락을 전혀 가지지 않는 서브 에이전트에게 리뷰를 맡기기로 했습니다.
PR을 만드는 스킬(/create-pr)의 마지막 단계에서 확인 없이 자동으로 작동합니다.
서브 에이전트를 사용한다고 해서 독립적인 것은 아닙니다. 호출하는 쪽이 실수로 맥락을 전달해 버릴 수 있기 때문입니다.
스킬에서는 다음 3가지를 결정했습니다.
| 규칙 | 이유 |
|---|
| 리뷰어에게 주는 지시문을 스킬에 고정하고, PR 번호・Issue 번호 등 몇 군데만 대체한다. 보충 설명이나 힌트를 추가하지 않는다 | '여기는 의도적입니다'라고 한마디 덧붙이는 것만으로, 그곳을 못 보게 된다 |
| ... | |
세 번째가 은근히 효과가 좋습니다.
구현한 쪽이 지적 사항을 '요약'하는 순간, 이미 취사선택이 들어간 것이기 때문입니다👀
같은 이유로, 지적 사항에 대응하는 스킬(/handle-review)에도 독립 리뷰를 넣었을 때 주의사항을 추가했습니다.
대응하는 것은 결국 구현한 세션입니다. 다른 눈으로 본 지적 사항을 자신의 판단에 치우쳐 '대응 불필요'로 처리하기 쉽습니다.
그래서, 대응 불필요하다고 할 경우 해당 코드를 확인한 후 근거를 회신에 작성하는 것으로 했습니다. 대응 불필요 스레드는 자동으로 닫히지 않으며, 닫을지는 자신(인간)이 결정합니다 (이는 Copilot의 지적과 같은 규칙입니다).
리뷰어에게 주는 지시문은 다음과 같은 형태입니다 (발췌).
당신은 {REPO}의 Pull Request #{PR}를 리뷰하는 리뷰어입니다.
이 리포지토리의 코드를 작성한 사람과는 다른 사람으로서, 선입견 없이 포괄적으로 리뷰해 주세요.
읽지 않을 것 (다른 시점을 유지하기 위해):
...
지적 사항에는 [중대]
[수정 필요]
[제안]
의 중요도를 매기게 하고, 하나의 리뷰에 모아서 게시하게 합니다.
대응은 Copilot의 지적과 동일한 절차(/handle-review)로, 건별로 수정하거나 수정하지 않는 이유를 회신합니다.
독립 리뷰(Independent Review)를 도입한 후, 앱 본체 리포지토리에서 병합된 PR 132건(2026-10-12~11-18)의 인라인 지적을 세어보았습니다.
독립 리뷰가 리뷰 본문 내용에만 작성한 지적은 포함하지 않았기 때문에, 독립 리뷰 쪽에서 적게 나오는 경향이 있습니다.
| Copilot | 독립 리뷰 |
|---|
| 리뷰가 달린 PR | 123건 |
| ... | |
| 독립 리뷰 쪽에서 지적이 약 3배 더 많이 나왔습니다. | |
다만, 8할은 '수정하면 좋을' 정도의 제안입니다. 개수가 많다고 좋은 것은 아니므로, 이 부분은 감안하여 봐주세요⚠️
효과가 있는 것은 건수 자체보다 보는 관점의 차이라고 느꼈습니다.
한 마이그레이션을 추가한 PR에서 Copilot은 '승인 권장・지적 0건'이었습니다.
독립 리뷰는 여기에 [중대]를 붙였습니다(요약).
이 마이그레이션 번호는,
develop에 있는 다른 마이그레이션보다 오래되었습니다. 후자는 개발 환경 DB에 이미 적용되어 있습니다.
만약 이 PR을 병합하면, 개발 환경에 적용하는 워크플로우인 supabase db push가 '마지막 마이그레이션보다 앞선 파일이 있음'이라는 메시지와 함께 멈추고, 그 뒤에 이어지는 마이그레이션은 단 하나도 적용되지 않습니다.
차이점의 파일 한 개만 봐서는 알 수 없습니다.
develop에 있는 다른 파일들, 개발 환경에 적용하는 워크플로우 실행 기록, 심지어 설정까지 읽어야 비로소 알 수 있는 문제입니다.
문맥을 제공하지 않았더라도, 리포지토리를 스스로 찾아가서 읽기 때문에 이런 지적이 나오는 것입니다💡
메일의 구독 취소 기능을 만든 PR에서는 '재전송할 때마다 구독 취소 토큰을 새로 만들게 되어, 처음에 도착한 메일 링크가 작동하지 않게 된다'는 문제를 Copilot과 독립 리뷰 양쪽 모두가 지적했습니다.
겹치는 것이 나쁜 것은 아닙니다. 두 곳에서 같은 말을 한다면, 실제 가능성이 높다고 판단할 수 있습니다.
PR별 리뷰는 해당 차이점 주변만 봅니다.
여러 PR의 조합으로 발생하는 구멍이나, 애초부터 존재했던 구멍은 리리즈 전에 모아서 확인합니다🧺
/release-audit라는 스킬로 RLS(Row Level Security)・API 권한・입력 검증・비밀 정보・캐시・개인 정보・데이터 무결성・설정・테스트의 9가지 테마를, 각 테마별 서브 에이전트가 병렬적으로 확인합니다.
예를 들어 '로그인하지 않은 상태에서도 호출 가능한 API가 종량제 외부 API를 호출하고 있지는 않은지' 같은 것입니다.
핵심은 지적을 그대로 믿지 않고, 다른 서브 에이전트에게 교차 검증(裏取り)을 시키는 것입니다.
중대도가 높은 지적은 2개에 걸쳐 확인시키고, 얼마나 확실한지에 대한 신뢰도를 붙인 후 목록화합니다.
처음 모든 것을 돌렸을 때는 65건・513만 토큰이 소요되었습니다.
Claude Code의 주간 사용 한도에 한 번에 들어오는 양입니다😇
그래서 3가지로 나누어 사용하고 있습니다.
| 실행 방식 | 내용 | 사용처 |
|---|---|
gates | npm audit・lint・DB 테스트・E2E만. 추가 토큰은 거의 없음 | 매 리리즈 시 필수 |
quick | 9가지 테마를 보지만, 교차 검증은 중대도가 높은 것만 진행. 테마를 제한할 수도 있음 | 모든 것을 건너뛸 때의 대안/수정 후 재확인 |
full (인자 없음) | 9가지 테마 + 중대도가 낮은 것도 한도까지 확인 | 규칙상 기본값. 건너뛸 때는 리리즈 PR에 기록함 |
8월에 모든 것을 돌렸을 때는 41건이 발견되었고, 리리즈를 막을 만큼 중대한 것은 0건이었습니다.
41건은 하나의 이슈로 목록화하고, 무거운 것들만 개별 이슈로 분리하여 수정했습니다.
모두 돌리면 부담이 되기 때문에, 'app/api/**나 supabase/**에 건드리지 않은 리리즈라면 생략해도 좋다'는 조건을 추가한 적이 있습니다.
하지만 이것은 즉시 철회했습니다.
감사(監査)의 테마는 Client Component로 서버 전용 import가 혼입된 경우, next.config.ts의 보안 헤더, GitHub Actions의 권한까지 확인합니다. '이 경로를 건드리지 않았다면 안전하다'라고 선을 그을 수 없었던 것입니다.
지금은, gates
최소한의 기준으로 매번 실행하고, 전부를 건너뛸 때는 해당 릴리스 PR에 무엇을 건너뛰었고 대신 무엇을 확인했는지 기록하는 것으로 하고 있습니다📝
검증(裏取り) 서브 에이전트가 지적을 기각한 비율은 첫 시도에서 **5.5%**였습니다. 상당히 낮은 편입니다.
실제 오류를 놓치지 않는 쪽에 초점을 맞춘 설계이기 때문에, 오류 지적이 섞여 있을 가능성을 전제로 읽고, 수정하기 전에 먼저 실제로 존재하는지 확인하는 방식으로 진행하고 있습니다.
그렇다고 해도, 검증 과정을 생략한 quick의 지적 3건을 확인했을 때는, 세 건 모두 실제 문제였습니다.
솔직히 말해서, '어차피 오탐(誤検知)이겠지'라며 넘기는 것도 위험하다는 생각이 들었습니다🙃
규칙상으로는 '기본값은 full이다. 건너뛸 때는 기록한다'입니다.
그런데 최근 12회의 릴리스(10/25~11/14)를 되돌아보니, full은 0회였습니다.
| 실행 방식 | 횟수 |
|---|
quick (테마를 좁힌 것을 포함) | 6회 |
gates만 (full은 건너뛰고 기록) | 6회 |
full | 0회 |
건너뛴 경우 모두 이유와 대신 확인한 내용을 릴리스 PR에 작성했습니다. 규칙을 따른 것이 맞습니다.
하지만, 주간 최대치에 달하는 무게라면, '이번 한 번의 예외'가 매번 발생하게 됩니다😇
예외가 반복된다면, 그것은 더 이상 기본값이 아닙니다.
full을 정기적으로 실행할 날을 정하거나, quick을 기본값으로 설정하여 규칙을 현실에 맞게 조정해야 합니다. 이 글을 쓰면서 깨달았습니다📝
- AI 리뷰는 한 종류만으로는 편향된다. **Copilot(PR별) · 독립 리뷰(PR별) · 감사(릴리스 전)**의 3단계로 중첩 적용했다.
- 구현한 세션에는 리뷰를 시키지 않는다.
작업의 맥락을 가지지 않은 서브 에이전트에게 보여준다 -
독립성은 방치하면 무너진다.
지시문을 고정하고, PR 본문과 기존 리뷰를 읽게 하지 않으며, 지적은 리뷰어 자신이 게시하게 한다 -
독립 리뷰의 지적이 Copilot보다 3배가량 많다. 수치보다는,
리포지토리 전체를 읽으러 가는 것으로 발견되는 문제가 다르다 -
무거운 감사는 실행 방식을 분리한다.
기계적인 체크는 매번이다. 다만 너무 무거운 기본값은, 예외가 반복되어 형식만 남게 된다.
혼자 개발하더라도 리뷰어는 늘릴 수 있습니다.
중요했던 것은 양보다도, 작성한 사람과 다른 시각으로 보는 것이었습니다. 참고가 되셨으면 좋겠습니다🙏
이 시리즈에서는 개인 개발 서비스 '아지피타'의 설계를 주제별로 작성하고 있습니다.
서비스 전체 개요나 다른 글 목록은 허브 기사에 모아두었습니다👇
この記事と関係の深い記事です。
🔗 신입이 첫날 헤매는 것은, AI도 매번 헤맨다. 그래서 암묵적인 규칙을 모두 말로 만들었다 (Claude Code에 작업을 맡기기 위한 규칙과 스킬)
🔗 안전 가드만은 일부러 참조하지 않는다. 부모 리포 1개로 7개의 리포지토리의 Claude Code를 지휘하는 설계 (독립 리뷰 스킬을 여러 리포에서 공유하는 메커니즘)
설계 내부 내용을 통해 읽고 싶은 분들을 위해 해부 문서도 공개하고 있습니다🔬
🔗 아지피타 내부(ajipita-inside)