AI 에이전트가 README의 네 줄만 읽고 25개 프로젝트를 감사한 결과. 모든 폐기 판결은 틀렸다.
요약
사용자는 Claude Fable 5 모델에게 자신의 프로젝트 포트폴리오 25개를 감사하게 했으나, AI가 내린 폐기 판결은 모두 틀렸음을 발견했습니다. 이 경험을 통해 에이전트의 판단에 의존하기보다, 작업 단어 정의를 요청하는 등 체계적이고 증거 기반의 검토 과정이 중요함을 강조합니다.
핵심 포인트
- AI 에이전트는 README 요약만으로 프로젝트를 폐기할 위험이 있습니다.
- 진정한 감사는 추측이 아닌, 증거 기반의 철저한 검증 과정을 거쳐야 합니다.
- 에이전트에게 작업 단어 정의(Definition of Work)를 요청하는 것이 중요합니다.
Claude Fable 5와의 실제 세션: 망친 감사, 완전한 되돌림, 그리고 밤을 바꾼 질문.
저는 Claude Fable 5에게 제 프로젝트 포트폴리오 감사를 요청했습니다. 25개의 디렉터리. 수년간의 작업물이었습니다. 그것은 자신감 있고 잘 형식화된 보고서를 내놓았습니다: 여덟 개는 유지하고, 이 클러스터들은 병합하며, 나머지는 보관하거나 폐기하라고요.
하지만 그가 죽음으로 판결한 모든 프로젝트에 대해서는 틀렸습니다.
그중 하나는 Nous Research의 212,000 스타 오픈 소스 에이전트 프레임워크였습니다. 그것은 이를
jarvis아카이브: 내 음성 비서의 중복 항목으로 분류했습니다. Jarvis는 애니메이션 대화형 아바타입니다. 범위가 다르고 완전히 다른 제품입니다.- CRISPR-Flow를 Christopher-AI의 기능으로 격하(Demote): CRISPR-Flow는 나의 일일 받아쓰기 도구입니다. Fable이 이를 격하할 것을 권장했지만, 나는 이 도구를 사용해 답장을 받아쓰고 있었습니다. 내가 보낸 메시지에는 온통 CRISPR-Flow의 서명이 남아 있었는데, 단어들이 공백 없이 붙어 있었습니다. Fable은 현재 입력받고 있는 도구 자체를 제거할 것을 권장했습니다.
- README 요약 및 디렉터리 크기를 기반으로 판단한 세 개의 '중복' 에이전트 엔진 통합(Consolidate):
그럼에도 불구하고 나는 일부를 승인했습니다. 프로젝트들은 아카이브 폴더로 이동했고, 지식 기반 병합(knowledge-base merge) 커밋이 이루어졌으며, 하나의 에이전트 엔진은 다른 리포지토리로 합쳐졌습니다. 이 모든 과정은 진정한 안전 점검을 거쳤습니다: unpushed-commit 스캔, 삭제 전 diff 저장, 강제 제거된 것은 아무것도 없습니다.
실행 과정은 신중했습니다. 그 밑에 깔린 판단은 네 줄 깊이였습니다.
같은 세션 후 나는 그것에게 Christopher-AI 작업 이전에 했던 모든 것을 되돌리라고 요청했습니다. 두 커밋 모두 초기화되었습니다. 무효화(undo)하는 데는 시간이 걸렸는데, 아무것도 푸시되지 않았기 때문입니다.
감사는 결론을 내리기 전에 체계적이고 증거 기반의 검토를 수행하는 것입니다... 자신이 검증하지 않은 발견 사항에 서명하는 감사자는 감사하는 것이 아니라 권위를 가지고 추측하는 것입니다.
그러자 그것은 스스로를 지목했습니다:
단서는 제 자신의 출력에서 나왔습니다. 저는 폐기할 만한 것들을 제대로 감사했습니다. 무언가를 버리기 전에 미푸시된 커밋을 확인하고, 커밋되지 않은 작업을 표준과 비교했으며, 저장된 증거를 검토했습니다. 삭제에 대한 엄격한 검증은 README의 네 줄에 대한
저는 모르는 것은 말하지 않습니다. 그것은 검색했습니다. Fable 5는 2026년 6월 12일에 출시되었습니다. 미국 수출 통제 지침으로 인해 Anthropic은 사흘 만에 이를 비활성화해야 했습니다. 이후 접근이 복구되었습니다. 가격: 입력 $10/M, 출력 $50/M — 대략 Opus의 2배였습니다. 저는 배수까지 정확하게 맞혔습니다.
그 모델은 저의 프로젝트들에 대해 밤새 가정을 세웠습니다. 그 최종 가정은 자신에 대한 것이었고, 바로 그것을 막도록 설계된 스킬을 작성한 후 온 메시지에서 나왔습니다.
여기서 얻을 교훈
- 에이전트에게 작업 단어 정의를 요청하세요.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기