만약 Claude가 독립적으로 결과물을 내놓는 것을 두려워한다면, 열 개의 프로젝트를 동시에 진행하더라도 아마도 더 긴 검토 대기열을 스스로 만들 뿐일 것입니다.
이것은 클로드 코드(Claude Code) 팀의 이 글을 읽고 난 후 제가 느낀 가장 큰 점입니다. 그들은 약 90%의 코드를 Claude가 작성하고 검토합니다. 흥미로운 것은 사람이 일일이 "정말로 제대로 수정했는지" 확인할 필요 없이 어떻게 해내는지 하는 것입니다.
첫째, 테스트가 완료되었다고 해서 기능이 완벽한 것은 아닙니다.
결제 페이지의 컴포넌트 테스트는 모두 통과했지만, 사용자가 주문 버튼을 누를 수 없을 수도 있습니다. Claude Code 팀은 에이전트(Agent)가 애플리케이션을 실제로 실행하고 사용자 흐름 전체를 거치게 하는 것을 더 중요하게 생각합니다. iOS를 수정할 때는 시뮬레이터에 넣고, 웹페이지를 수정할 때는 브라우저에 넣습니다. 실패했을 때 스크린샷과 작업 궤적을 남기고 어느 단계에서 막혔는지 지적합니다. 리팩토링(Refactoring)의 경우, 신규 버전과 구버전이 동일한 입력 데이터를 받도록 하여 결과가 변했는지 확인하게 합니다. 먼저 "이번 수정으로 가장 취약할 수 있는 부분은 무엇인가"를 묻고, 그 후에 검증 방법을 결정합니다.
둘째, AI는 테스트를 작성할 수 있지만, 수정된 코드가 자체적인 승인 규칙(Acceptance Criteria)을 다시 쓰는 것은 안 됩니다.
그들의 코드 검토는 현재 PR에서 수정한 파일이 아니라 기준 브랜치(baseline branch)에 있는 REVIEW.md 파일을 읽습니다. 이 디테일이 매우 중요합니다. 동일한 에이전트가 구현과 테스트 보완을 담당할 수는 있지만, 만약 같은 PR 내에서 승인 기준을 완화할 수도 있다면, "모두 통과"라는 말은 설득력이 떨어집니다.
셋째, 지나온 실수(함정)를 다음번에 자동으로 검사할 수 있는 무언가로 만듭니다.
예를 들어, 세션 저장소(session storage)를 수정했다면, --resume 옵션을 사용해서 이전 대화 내용을 읽을 수 있는지 확인합니다. 왜냐하면 새로운 필드는 기존 기록에 아예 존재하지 않기 때문입니다. 이 검사는 관련 코드 변경 시에만 트리거되도록 하고, 매번 긴 목록 전체를 실행할 필요가 없습니다. 심지어 과거에 사고가 났던 수정 사항과 출시 후 문제가 없었던 수정 사항을 역으로 테스트하여 검토 시스템 자체를 시험합니다. 무엇을 놓치는지 확인하는 동시에, 잘못 보고하지는 않는지도 확인합니다.
만약 이 방법을 제 프로젝트에 적용한다면, 가장 망가질 수 없는 사용자 경로 하나를 먼저 선택하고, 어떻게 실행해야 하는지, 무엇을 봐야 통과로 간주하는지, 실패했을 때 어떤 증거를 남겨야 하는지를 명확히 문서화할 것입니다. 먼저 하나의 에이전트(Agent)가 이 경로를 검증하도록 한 다음, 더 많은 병렬 작업을 고려할 것입니다.
이전에는 AI 프로그래밍에서 가장 중요한 것은 요구사항을 명확하게 설명하는 것이라고 생각했습니다. 하지만 이제는 다른 절반도 명확히 해야 한다고 느낍니다. 즉, "무엇을 봐야만 당신이 제대로 했다고 믿을 수 있는가?"를 말입니다.