계기는 이전에 작성했던 채용률 리포트의 수치가 기간이나 계산 방식이 제각각이라 어떤 스킬이 좋은지 판단할 수 없었기 때문입니다. PR 리뷰를 담당하는 스킬을 반년 동안 3가지 만들었습니다. 이번에는 3가지 스킬이 제시한 지적 사항 전체를 모아 하나의 자(物差し)로 다시 측정했습니다. 결과 공유입니다.
- 측정한 건, 2026년 4월부터 11월 13일까지의 지적 사항 1,306건입니다.
- 가장 개선도가 높았던 것은 가장 단순한 review-pr로 68.9%였습니다. 관점을 병렬적으로 늘린 deep-review는 59.2%였습니다.
- 지적 오류 비율은 세 가지 모두 약 10%대로 차이가 없었습니다.
전제 조건만 간략히 설명합니다. 대상은 모바일 앱과 백엔드 두 개의 리포지토리(repository)의 PR입니다.
- review-pr: PR의 행(line) 단위로 지적을 내는 기본 버전입니다.
- deep-review: 관점별로 서브 에이전트를 병렬적으로 구동하는 정교한 버전입니다. 관점은 11개에서 14개까지 늘어났습니다.
- nitpick-pr: 세부적인 지적 전용입니다.
정의는 처음에 고정하고 중간에 변경하지 않았습니다.
- '개선된(直された)'이란, 지적을 받고 실제로 코드가 변경된 것을 의미합니다. 답변 내용과 그 이후 커밋으로 판정했습니다.
- 측정한 범위는 병합(merge) 완료되었고, PR 작성자가 지적에 답변한 PR입니다. 전체 기간의 지적 사항 1,691건 중 1,306건이 대상이며, 미병합된 271건, 작성자가 답변하지 않은 112건, bot의 PR 2건은 제외했습니다.
- 지적을 한 사람과 PR 작성자는 구분하지 않았습니다. 자신의 PR에 대한 지적도 포함되어 있습니다.
- 이전에 만들었던 채용률 리포트와는 자가 다르므로 비교하지 않습니다.
- 지적 사항 중 36%는 어떤 스킬이 제시했는지 판별할 수 없었습니다. 스킬별 수치에는 그 유보(留保)가 붙습니다.
| 스킬 | 지적 건수 | PR당 평균 지적 건수 | 개선된 건수 | 개선 비율 | 지적 오류 비율 |
|---|
| review-pr | 354 | 4.4 | 244 | 68.9% | 9.6% |
| ... | | | | | |
가장 정교했던 deep-review가 가장 개선도가 높지 않았습니다. 지적 오류 비율은 세 가지 모두 약 10%대로, 정확도에는 차이가 없습니다.
이 결과는 체감과 일치했습니다. 평소 리뷰에서도 review-pr가 가장 좋은 지적을 해온 인상이 있었기 때문입니다. 의외였던 것은 순위가 아니라, 체감이 뒷받침되었다는 점이었습니다.
개선되지 않은 지적으로 분류했을 때 차이가 난 부분은 여기였습니다.
- deep-review는 '지적은 맞지만 낮은 우선순도'와 '이 PR의 범위를 벗어남'을 합쳐 17.4%였습니다.
- review-pr는 같은 합계가 6.2%였습니다.
- nitpick-pr은 16.7%였습니다.
deep-review는 1 PR당 지적 건수가 review-pr의 약 1.8배 많습니다. 올바른 지적이라 하더라도, 해당 PR에서는 개선되지 않는 것이 많았다는 결과입니다.
월별로 보면, 8월에 review-pr의 지적 오류가 증가했던 달이 있었습니다. 이 이야기는 구체적인 사례 부분에 정리하겠습니다.
8월의 review-pr 지적 오류 15건 중, 8건이 2개의 PR에 집중되어 있었습니다.
첫 번째는 모바일 측 PR에서 5건이었습니다. 이 중 3건은 오래된 커밋을 참조하여 이미 수정되었던 부분을 지적한 것이었고, 나머지 2건은 의도와 다른 동작을 문제 삼았던 것이었습니다.
두 번째는 백엔드 측 PR에서 3건이었습니다. 잘못된 선례를 근거로 했으며, 해당 지적은 철회되었습니다.
9월 이후부터 review-pr의 지적 오류는 0%에서 5.6% 범위로 돌아왔습니다. 다만, 무엇을 변경했기 때문에 돌아왔는지 기록이 없어 미확인입니다.
nitpick-pr은 개선 비율이 66.7%로 수치상으로는 2번째였습니다. 하지만 나오는 것은 형식이나 세부적인 작성 방식의 지적이 중심이라 치명적인 문제는 발견할 수 없었습니다. 개선되더라도 영향이 적은 지적들만 많았기 때문에, 실행 자체를 중단했습니다. 수치의 좋고 나쁨과 할 가치는 별개였습니다.
이 결과의 약점도 말씀드립니다.
- 측정한 범위를 '병합 완료 및 답변 있음'으로 한정했기 때문에, 비율은 전체 건수로 볼 때 높게 나올 수 있습니다.
- '개선됨' 판정에는 노이즈가 있습니다. 무작위로 확인한 8건 중 2건은 지적과 관계없는 변경이었습니다.
- 스킬을 판별할 수 없었던 지적이 36%에 달합니다. 특히 8월은 판별할 수 없는 것이 많았습니다.
반년 동안 해본 결과, 남게 된 것은 가장 단순한 review-pr를 정기적으로 자동 구동하는 형태입니다. 정교한 버전과 세부적인 버전 모두 현재는 돌리고 있지 않습니다.
가져갈 판단 기준은 한 가지 있습니다. 리뷰 스킬을 비교할 때는 지적 오류가 적은 것만 봐서는 차이가 나지 않습니다. 개선 비율과 1 PR당 지적 건수를 함께 보는 것입니다.
또 다른 결론이 바뀌었습니다. 애초에 지적의 개수를 추적하는 것 자체가 잘못되었습니다. 숫자는 본질이 아닙니다. 다음에 봐야 할 것은 지적의 중요도(criticality)입니다.
참고로, 이 집계는 건별 판정 데이터와 집계 스크립트를 보관하고 있어, 매월 동일한 잣대로 다시 계산할 수 있도록 했습니다.