Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
자율 Claude Code 에이전트의 필드 노트로, 뮤테이션 테스트를 통해 자신의 테스트 코드를 점검하는 과정을 설명합니다. 이 과정에서 실제 데이터 원장(Ledger)에 쓰기 작업이 발생하여 체크가 중단되었으나, 이는 스케줄링된 정기 수집 작업으로 인한 정상적인 변경임이 밝혀졌습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기매일 하나의 Windows PC에서 실행하는 자율 Claude Code 에이전트의 필드 노트입니다. 숫자는 메모리가 아닌 자체 원장에서 가져온 것입니다.
먼저 읽을 수 있는 자료: 이 설정의 기반이 된 책의 PDF 샘플 — 처음 3개 장: [https://dbsoul.gumroad.com/l/autonomous-ai-agents-claude-code-free-sample]
제 에이전트는 뮤테이션 테스트(mutation testing)를 통해 자신의 테스트를 점검합니다. 실제 코드의 한 줄을 변경하고, 테스트를 실행한 다음, 최소한 하나의 테스트가 실패할 것을 예상합니다. 어떤 테스트도 잡아내지 못한 뮤턴트(mutant)는 테스트가 누락되었음을 의미합니다.
뮤턴트는 실제 저장소(repository)가 아닌 복사본에서 실행됩니다. 여기에 또 다른 방어 장치가 있습니다. 각 뮤턴트를 수행하기 전과 후에, 이 체크는 원장들이 존재하는 실제 데이터 폴더의 파일 수정 시간과 크기를 기록합니다. 만약 그곳에 무언가 변경되었다면, 중단하고 어떤 파일이 변경되었는지 출력합니다. 뮤턴트는 절대 실제 데이터에 도달해서는 안 되므로, 그곳에서의 변경은 가능한 유출(leak)로 간주됩니다.
에이전트는 새로운 판정 함수(judge function)를 위해 여덟 개의 뮤턴트를 등록했고, 이 함수가 모든 실험의 판정을 출력하는 명령과 연결되는 라인들이 있었습니다. 첫 번째 실행에서 하나의 뮤턴트가 포착되었습니다. 그러자 체크가 중단되었습니다: 실제 데이터 폴더가 변경된 것입니다.
변경된 두 파일은 Threads 원장이었습니다: 하나는 10:40:20에, 다른 하나는 10:41:11에 작성되었습니다.
유출로 간주하기 전에, 에이전트는 시계를 확인했습니다. 이 기계는 Threads 데이터를 하루 네 번 수집하는 스케줄링된 작업(scheduled task)을 실행합니다: 10:40, 13:40, 16:40, 그리고 21:10입니다. 마지막 실행 시간은 10:40:01이었습니다. 두 파일은 그 시간으로부터 각각 19초와 70초 후에 작성되었습니다.
에이전트는 또한 소스 폴더가 시작 시점과 동일한 커밋되지 않은 변경 사항을 보여주며, 새로운 것이 없다는 것도 확인했습니다.
따라서 쓰기 작업은 스케줄링된 작업에서 비롯된 것입니다. 뮤턴트는 유출하지 않았습니다. 이 방어 장치는 설계된 대로 작동했습니다: 설명할 수 없는 변경을 감지하고 계속하는 것을 거부한 것입니다. 그 이유를 파악하는 것은 별도의 단계였습니다.
다음 스케줄링된 실행은 13:40이었습니다. 에이전트는 그전에 남아 있던 나머지 7개의 돌연변이를 실행했습니다. 모두 포착되었으며, 살아남는 것은 없었습니다. 첫 번째 실행과 합치면 총 8개 중 8개입니다.
이는 두 세션 동안 두 번째였습니다. 이전 세션에서는 체크가 에이전트가 스스로 유발한 이유로 중단되었습니다. 에이전트는 돌연변이 체크와 동시에 실제 데이터 수집 실행을 시작했고, 그 수집 과정이 원장(ledgers)을 업데이트했습니다.
두 번의 중단 모두 올바른 것이었습니다. 두 경우 모두 체크가 실행되는 동안 다른 무언가가 실제 원장에 쓰기 작업을 했기 때문입니다.
출처. 여기에 게시된 모든 내용은 제가 매일 실행하는 하나의 설정에서 나옵니다. 즉, 에이전트가 어떤 작업을 건드리기 전에 읽는 CLAUDE.md와 메모리 파일, 그리고 PASS 또는 FAIL을 반환하는 별도의 감사자(auditor) 에이전트입니다. 이 과정을 설명하는 책의 처음 3개 장은 PDF로 무료 제공됩니다: https://dbsoul.gumroad.com/l/autonomous-ai-agents-claude-code-free-sample
전체 에디션은 11개 장에 4개의 바로 사용할 수 있는 템플릿(CLAUDE.md 스타터, 메모리 파일, 감사자 체크리스트, 측정 가이드)과 각 장별 실습 섹션을 포함하며, PDF로 $19입니다: https://dbsoul.gumroad.com/l/autonomous-ai-agents-claude-code
설정에 대한 질문은 댓글에서 환영합니다. 이론이 아닌 실제로 일어난 일로 답변해 드리겠습니다.