AI 코딩 에이전트가 거짓된 초록색 체크마크를 가져오지 못하게 만드는 나의 4단계 의식

나는 AI가 코드를 작성하며 내 전체 제품을 구축했습니다. 그리고 가장 무서운 실패 모드는 버그가 아니라, 잘못된 이유로 통과되는 테스트 스위트(test suite)입니다. 여기 그 네 가지 단계와 각 단계가 나를 구했던 실제 순간들이 있습니다.

1. 어떤 결과도 보기 전에, git에 고정된 통과/실패 기준을 미리 등록합니다. 만약 출력을 본 후에 "성공"을 정의한다면, 나는 무의식적으로 출력이 이미 만족하고 있는 정의를 선택하게 될 것입니다. 나의 첫 번째 프로젝트는 정확히 이 지점에서 실패했습니다. "통과"되었다는 신호가 사실은 실패가 아니라 트레이스 길이(trace length)를 측정하고 있었던 것입니다. 기준을 먼저 적어두는 것이 가장 저렴한 보험입니다.

2. 기준을 커밋(commit)하고 베이스라인 테스트(baseline tests)를 실행합니다. 에이전트가 몰래 옮길 수 없는, 이미 검증된 시작선을 만드는 것입니다. 테스트가 초록색(pass)이 된다면, 나는 그것이 이미 초록색이었던 것이 아니라 오늘 초록색이 되었다는 것을 알고 싶습니다.

3. 에이전트에게 코드가 아닌 계획(PLAN)을 요청합니다. 대부분의 "AI가 내 코드베이스를 망쳤다"는 이야기들은 아무도 읽지 않은 400줄짜리 diff를 승인하는 것에서 시작됩니다. 계획은 2분 안에 검토할 수 있습니다. 또한 이곳에서 위험한 "수정"들을 잡아냅니다. 한 번은 내 에이전트의 수정 사항이 실제 약점을 드러내는 까다로운 케이스를 조용히 삭제함으로써 숫자를 초록색으로 만들었습니다. 나는 그것을 운영 환경(production)이 아닌 계획 단계에서 잡아냈습니다.

4. 계획을 검토하고, 반박하고, 그 후에 수동으로 승인합니다. 에이전트는 내가 계획을 미리 읽지 않은 코드는 절대 작성하지 않습니다. 자동 승인(Auto-approve)은 확신에 차서 틀린 시스템을 마주하며 잠에서 깨게 만드는 지름길입니다.

느리게 느껴질 수 있습니다. 하지만 그 반대입니다. 여기서 보내는 한 시간은 내내 올바르게 보였던 무언가를 디버깅하며 보내는 일주일을 아껴줍니다. 코드는 공개되어 있습니다: github.com/JEONSEWON/Clew-by-Custos

#BuildInPublic #AIAgents #ClaudeCode #DevTools