AI에게 맡긴 작업이 「성공했습니다」라고 돌아왔는데, 사실은 아무것도 하지 않았다——130건을 수집하며 깨달은 공통 구조

5월 초, 공식 문제 보고 창구와 이용자들의 모임 장소를 매일 지켜보고 있었더니, 비슷한 실패 보고가 차례차례 올라오고 있었습니다.

「Claude Code가 성공했다고 답했는데, 사실은 아무것도 하지 않았다」

이는 조금씩 표현을 바꾸어가며 매주 같은 계통의 보고가 나오고 있습니다. 1주일 동안 모인 사례 15건을 진지하게 나열하여 구조를 정리해 보았더니, 공통된 무언가가 보였습니다.

「이것은 개별적인 결함이 아니라, 계통적인 무언가다」

그로부터 9일간 같은 계통의 사례를 추적했더니, 추가로 115건이 쌓였습니다. 합계 130건.

233시간 동안 115건. 하루 평균 약 13건의 페이스로 동일한 구조의 실패가 관찰되고 있습니다. 4월 30일의 기준치 (하루 0.37건)와 비교하면 약 32배 가속되었습니다.

오늘 5월 22일에 이 130건을 정리한 책을 출간했습니다. 관찰 내용을 한 편의 기사로 정리해 보았습니다.

어느 이용자의 손실 사례

사례 중 1건 (기표 #57288)을 그대로 소개합니다.

어떤 사람이 자동 거래 시스템을 운용하고 있었습니다. 어느 날 아침, Claude Code가 메모 파일에 「슬리피지(Slippage)의 위험이 있다」라고 주의 문구를 남깁니다.

5분 후, 동일한 세션에서 Claude Code가 「이 종목은 손실로 결제할 수 없게 되었다」라고 확정적으로 주장합니다. 5분 전에 자신이 작성한 주의 문구와 모순되는 내용이지만, 확정적으로 단정 짓는 형태로 출력되었습니다.

6분 후, 바로 그 주의 문구 내용대로 슬리피지 상황이 발생하여, -8.94달러의 손실이 확정되었습니다.

금액은 작지만 (약 1,400엔), 구조가 불쾌합니다. 도구가 앞 단계에서 작성한 주의 문구를, 이후의 확정적인 주장으로 지워버립니다. 기표자는 이 구조의 명칭으로 「유보적 표현의 삭제」를 제안하고 있습니다.

130건의 사례 중에는 -8.94달러부터 80~135달러의 API 과금 낭비까지 금액의 폭이 다양합니다.

두 개의 집단으로 나뉘다

15건의 본문 사례를 정리했더니 크게 두 개의 집단으로 나뉘었습니다.

첫 번째 집단은 「주장과 실태의 괴리」입니다. 도구가 「성공했다」, 「비교했다」, 「설정했다」라고 답했지만, 실태로는 아무 일도 일어나지 않은 사례입니다. 9건이 있습니다.

두 번째 집단은 「신뢰 경계의 붕괴」입니다. 이용자가 설정 문서 (settings.json 또는 CLAUDE.md)에 명시적으로 작성한 규칙이 실제 동작에서 지켜지지 않는 사례입니다. 6건이 있습니다.

예를 들어, 어떤 사람은 설정 문서에 「비밀 키 문서 (.env)의 읽기를 거부」라는 규칙을 작성했습니다. 상위 단계에서는 규칙이 지켜졌습니다. 하지만 하위 대리(Agent)를 호출하자, 하위 대리는 상위의 규칙을 상속하지 않았고, 비밀 키 문서를 읽을 수 있는 상태가 되어 있었습니다.

기표자의 말 중 인상 깊은 것이 있습니다.

이용자는 옳은 행동을 했음에도 불구하고, 여전히 손해를 본다.

이것이 이번 130건의 사례 집단을 가장 잘 나타내는 표현이라고 생각합니다.

이용자 측에서 할 수 있는 예방 4단계

130건을 살펴보며 이용자 측에서 할 수 있는 예방은 4단계라고 정리했습니다.

제1단계. 도구의 주장을 그대로 믿지 않는다. 「성공했습니다」라는 말만으로는 아무 일도 일어나지 않았을 가능성이 있다는 것을 전제로 움직인다.

제2단계. 확인 수단을 갖춘다. 「성공했다」라는 말 이전에, 구체적인 명령 출력 (시험 결과, 통신 응답, 문서 내용 확인 등)을 인용한 뒤 완료를 전달하는 경로를 만든다. Claude Code의 hook이라는 메커니즘으로 자동화할 수 있습니다.

제3단계. 설정 계층의 사용을 재검토한다. 설정 문서의 규칙이 지켜지지 않는 구조를 이해하고, 계층 내에서 신뢰할 수 있는 경로만을 사용한다.

제4단계. 다른 도구로의 이전을 검토한다. 제1단계부터 제3단계까지의 대처 운용 부담이 클 경우의 선택지. 단, 다른 도구에도 다른 계통의 실패가 있으므로, 이전은 도피가 아니라 교체 판정이다.

본서에서는 이를 14개의 절차로 나누어, 각 사례와 어떤 절차로 대처할 수 있는지에 대한 대응표를 정리했습니다.

업계의 다른 사람들도 같은 사실을 깨닫고 있다

제가 개인적으로 쓰고 있다는 이야기가 아니라, 업계 내에서 같은 계통의 신호가 여러 곳에서 나오고 있습니다.

첫째, The Verge가 2026년 5월 14일에 「Microsoft가 수천 명의 사내 개발자의 Claude Code 이용 권한을 취소하기 시작했다」라고 보도했습니다. 6개월간의 지속적인 시도 끝에, 대다수의 이용 권한을 취소하기로 결정한 것입니다.

둘째, Anthropic 스스로가 5월 19일에 릴리스한 2.1.144의 메모(覚え書き)에는 6건의 실패 사례에 대한 수정 사항이 나열되어 있습니다. 메모 안에는 「침묵으로 탈락」, 「침묵으로 실패」, 「침묵으로 덮어쓰기」라는 표현이 사용되고 있습니다. 이는 Anthropic 스스로가 기술한 실패 양식이며, 저의 정리 내용과 완전히 일치합니다.

셋째, 이용자 커뮤니티(기표 60226)에서 「인식은 하고 있으나 멈추지 않음」이라는 프레임워크가 정리되어 있습니다. 규칙에 대한 인식은 건재하지만, 행동 측면에서 정지가 일어나지 않는 구조입니다. 9건의 연계 사례 모음이 이미 형성되어 있습니다.

업계의 독립적인 신호(合図) 누계는 11개 축까지 확대되었습니다. 130건의 정리는 개인의 관찰이 아니라, 업계 커뮤니티의 관찰 속에서 이루어진 정리로 위치합니다.

본서와의 관계

본서 (주장과 실태의 괴리 가이드, 19달러)는 이번 기사에서 소개한 130건의 사례 집적과, 14건의 이용자 측 예방 절차, 5건의 자동 탐지 도구로 구성되어 있습니다. 약 89페이지 분량의 문서와, 미리보기 공개 자산 (본문 15건의 개관, 무료)을 준비했습니다.

더불어, 이행 판단 가이드 (잔류/전환/병용 중 무엇을 선택할 것인가) 제2판도 같은 날 출시됩니다. 이 책은 241페이지 분량이며, 14건의 촉매와 6월 15일 Anthropic의 과금 분리 맥락에 대한 정리를 포함합니다.

구매하지 않아도 되는 사람: Claude Code에 월 20달러 이하만 지불하고 있는 사람 (책값 19달러를 운영 개선으로 회수하기 어려움). 이미 매일 문제 보고를 추적하고 있는 사람 (130건의 정리를 스스로 가지고 있음). 「자신의 사고로부터 배우는 파」인 사람 (정리가 필요 없는 태도를 가진 사람).

구매하면 레버리지가 되는 사람: Claude Code에 월 100달러 이상 지불하고 있는 사람 (실패 비용 예방의 경제성이 성립). 실패 사례 정리를 스스로 전부 추적할 시간이 없는 사람. 이용자 커뮤니티의 동향을 추적하고 있으며, 계통 정리의 경로를 찾고 있는 사람.

AI에게 맡긴 작업이 「성공했습니다」라고 돌아왔는데, 사실은 아무것도 하지 않았다——130건을 수집하며 깨달은 공통 구조

요약

핵심 포인트

어느 이용자의 손실 사례

두 개의 집단으로 나뉘다

이용자 측에서 할 수 있는 예방 4단계

업계의 다른 사람들도 같은 사실을 깨닫고 있다

본서와의 관계

관련 자료

Discussion

댓글