PR 리뷰 스킬 3가지를 만들고 반년 동안 사용했지만, 남은 것은 단 하나였습니다. 이 과정과 자동화로 인해 새롭게 발생한 문제에 대해 이야기합니다.
- deep-review를 수동으로 실행한 것은 2026년 8월 5일이 마지막이었습니다. 그 이후의 이용 로그에서는 0회입니다.
- 남은 것은 10월 16일부터 평일에 정기적으로 돌아가고 있는 자동 리뷰 흐름입니다. 예정된 122개 슬롯 중 116번이 가동되었습니다.
- review-pr 지적 사항에서, 반응이 없는 비율이 수동으로 호출하던 시기의 20%에서, 자동화된 시기의 46%로 증가했습니다.
deep-review는 8월 5일 이후로는 수동으로 실행되지 않았습니다. 9월 29일부터 11월 13일까지의 이용 로그를 보면, deep-review 계열은 0회입니다.
deep-review를 포기한 이유는 수정되는 비율이 낮았기 때문입니다. 체감상으로도 집계로도 가장 낮았고, 여기서 손을 떼기로 했습니다. 다만, 지적 오류의 비율 자체는 9.8%로, review-pr의 9.6%와 비슷한 수준이었습니다. 틀린 것이 많지 않았는데 수정되지 않는 것. 그것이 이 스킬의 끝맺음입니다.
스킬 자체적인 관리는 계속되고 있어, 본인이 마지막으로 사용한 8월 5일 이후에도 deep-review 계열에는 17건의 커밋이 들어왔습니다. 제가 수정한 부분이 실제로 사용되는지 확인하지 않았던 것이 원인이라고 생각합니다.
남은 것은 스킬 자체라기보다는 자동 리뷰 흐름입니다. 10월 16일부터 이 흐름이 평일에 돌아가고 있습니다. 예정된 122개 슬롯 중 116번이 가동되었으며, 그중 review-pr이 23회, 재점검 스킬이 49회 자동 실행되었습니다. 사람이 호출하는지 여부와 관계없이 작동하는 형태입니다. 남은 것은 이 흐름에 편입된 스킬뿐이었습니다.
자동화의 부작용도 수치로 나타났습니다. review-pr 지적 사항을 기준으로 보면, 반응(답변이나 수정)이 없었던 비율은 수동으로 호출하던 4월부터 5월에는 20%(166건 중 34건)였으나, 자동화되어 돌아가기 시작한 10월부터 11월에는 46%(114건 중 52건)였습니다. 이는 병합되지 않은 PR 등을 포함하여 review-pr의 모든 지적 사항을 기준으로 계산된 수치입니다.
증가한 이유는 집계만으로는 알 수 없습니다. 가장 큰 원인으로 추측되는 것은 자동 실행 시 컨텍스트(context)가 적절하게 전달되지 않는 것입니다. 기존의 지적 내용이나 PR 상의 논의를 이어받지 않고 진행되기 때문에, 같은 PR에 대해 여러 번 실행될 때 지적 사항을 짜내거나 이미 붙어 있는 지적과 중복되는 경우가 발생하는 것 같습니다. 비동기적으로 실행되는 형태가 이러한 전달력 약화와 관련이 있을 것으로 보이지만, 아직은 조사하지 못했습니다. 앞으로 조사할 예정입니다.
자동화의 현황을 장점(메리트)과 단점(디머릿)으로 나누어 정리합니다.
장점은 이렇습니다. 호출하지 않아도 계속 돌아갑니다. 평일 예정 122개 슬롯 중 116번이 가동되었습니다. 수동으로 호출하는 방식이 모두 사용되지 않게 되면서, 이 스킬 하나만 남았습니다. 재점검까지 자동으로 진행됩니다. 제가 관리를 하지 않아도 운영은 지속됩니다.
단점은 이렇습니다. 반응 없는 지적 사항이 20%에서 46%로 증가했습니다. 질이 높아진 것이 아니라, 지적 오류 비율은 약 10% 수준에 머물렀습니다. 수신자가 반응하고 있는지 측정하는 메커니즘도 없었습니다. 현재 월별 집계에서 추적하는 것은 수정된 비율과 지적 오류 비율이며, 반응 여부는 포함되어 있지 않습니다.
남아있는 과제는 자동 실행 시 컨텍스트를 적절하게 전달하는 것입니다. 기존의 지적 내용이나 PR 상의 논의를 이어받지 못하고 있는 것이 개선점입니다. 비동기적으로 실행되는 형태가 관련이 있을 것 같지만, 원인은 아직 조사하지 못했습니다. 앞으로 조사할 예정입니다.
제가 가져갈 판단 기준은 다음과 같습니다. 자동화는 '계속하기' 위한 조건이지, '좋아지게' 만들기 위한 조건은 아니었습니다.
- 스킬은 '호출된다' 전제 하에 만들어서는 안 된다. 남는 것은 기존 흐름에 통합된 것뿐이다.
- 자동화를 한다면, 내보내는 시스템뿐만 아니라 수신자가 반응하고 있는지를 측정하는 시스템까지 세트로 만들어야 한다.