Claude Code 팀은 현재 약 90%의 코드를 Claude가 작성하고, 또 Claude가 검토합니다. 그들이 이렇게 할 수 있는 전제는 모든 변경 사항이 실행되어 검증될 방법이 있다는 것입니다.
Anthropic은 이 방법을 11월 16일에 공개했습니다. 만약 검증 클로즈 루프(verification closed loop)가 없다면, 동시에 Claude를 한두 개만 돌릴 수 있고 모든 것을 직접 확인해야 합니다. 하지만 이것이 생기면서 수십 개에서 심지어 백 개의 작업을 병렬로 처리할 수 있게 되었습니다. 그들은 내부적으로 구조화된 파일 생성 테스트 세트를 진행하여 독립적인 평가자(independent scorer)가 평가 기준에 따라 Claude의 산출물을 검사하게 했습니다. 이 방식은 일반 프롬프트 반복보다 최대 10%p 높은 작업 성공률을 보였으며, 문제가 어려울수록 그 효과는 더 컸습니다.
테스트는 세 가지 유형으로 나뉘며, 우선순위가 다릅니다. 엔드투엔드 테스트(End-to-End test)에 가장 많은 투자를 하는 것이 가치가 높습니다. 왜냐하면 이것이 속이기 가장 어렵기 때문입니다. 즉, 전체 기능이 작동하거나 아예 작동하지 않거나 둘 중 하나이며, 실패할 경우 스크린샷과 구체적으로 어디가 잘못되었는지까지 제공받을 수 있습니다. 유닛 테스트(Unit test)는 더 빠르고 안정적이지만, 에이전트(agent)와 테스트 모두가 전체 작업을 완전히 이해하지 못했기 때문에 모든 것이 녹색(성공)으로 표시되더라도 기능 자체는 작동하지 않을 수 있습니다.
두 번째 유형은 속성 테스트(Property test)입니다. 먼저 실패할 수 없다고 생각되는 단언문, 예를 들어 인코딩 후 디코딩하면 원래 값이 되거나, 잔액이 마이너스가 되지 않는다는 식의 가정을 작성한 뒤, fast-check, Hypothesis 또는 proptest 같은 도구를 사용해 수만 개의 입력을 생성하여 반증(falsify)합니다. 이러한 경계 조건(boundary case)은 원본 코드에 대한 편견을 가지지 않아 리팩토링 시나리오에서 특히 유용합니다.
세 번째 유형은 차분 테스트(Differential test)로, 대규모 마이그레이션에 적합합니다. 동일한 입력 묶음을 기존 시스템과 새 시스템에 각각 돌려보고 결과가 다르면 버그이거나 파괴적인 변경으로 간주합니다. 무작위 입력이나 프로덕션 트래픽 샘플을 사용해야 하며, '원래 달랐어야 할' 항목들의 화이트리스트(whitelist)를 유지하지 않으면 노이즈가 실제 문제를 덮어버릴 수 있습니다.
실제 운영 측면에서, 그들은 애플리케이션 시작 및 검사 방법을 하나의 verify 스킬로 고정화하여 저장소의 .claude/skills/ 디렉토리에 배치했고, Claude는 변경 사항을 제출하기 전에 스스로 이 스킬을 호출합니다. 웹에서는 Chrome 확장 프로그램을 사용하고, 모바일에서는 iOS 또는 Android MCP를 사용하며, 백엔드는 로컬에서 서비스를 시작합니다. 실패 처리도 매우 강력한데, 세 번 연속으로 실행해도 통과하지 못하면 Claude가 작업을 멈추고 사람의 개입을 요청합니다.
또한 39개 항목으로 된 신뢰성 체크리스트(reliability checklist)가 존재하며, 각 항목은 diff에서 읽어낼 수 있는 트리거 조건, 하나의 검사 사항, 그리고 그에 해당하는 장애 이벤트 또는 PR이 포함되어 있습니다. 이 검사를 작성하는 사람이 곧 검사를 유지보수하는 사람입니다.
쉽게 빠지기 쉬운 함정 중 하나는 테스트의 불안정성입니다. 테스트가 한 번 흔들리면(jitter), 에이전트가 학습하는 것은 코드를 수정하는 것이 아니라, 테스트를 재실행하여 녹색 상태가 될 때까지 기다리는 것입니다.