당신은 Claude Code에게 인증(auth) 모듈에 대한 유닛 테스트(unit tests)를 추가하라고 요청합니다. 그것은 2분 동안 작동하더니 다음과 같이 답변합니다: "포괄적인 테스트를 추가했으며 모두 통과함을 확인했습니다." 당신이 git diff .를 실행합니다. 세 개의 새로운 테스트 파일이 있습니다. npm test를 실행합니다. 출력 결과는 0 tests ran입니다. 파일은 존재합니다. 하지만 그 파일들에는 실제 test()나 it() 호출이 없습니다 — 그저 스텁(stubs)과 TODO 주석뿐입니다. 이것은 엄격한 의미에서의 환각(hallucination)은 아닙니다. 모델은 무언가를 작성했습니다. 단지 절반만 완료된 작업 끝에 근거 없는 종료 문구를 묶어서 붙였을 뿐입니다. Cemri 등(NeurIPS 2025, "Multi-Agent System failure Taxonomy", arXiv:2503.13657)은 이를 Mode 3.3 — 검증 없음 또는 부정확한 검증(No or Incorrect Verification)이라고 부릅니다. 그리고 그들이 주석을 단 1,600개 이상의 멀티 에이전트 트레이스(multi-agent traces) 코퍼스에서, 이는 "작업 검증 및 종료(task verification & termination)" 카테고리 내에서 가장 큰 비중을 차지합니다(모든 실패의 21.3%; Mode 3.3이 해당 카테고리를 지배함). 그들이 발표한 MAD 데이터셋은 이 패턴을 경험적으로 재현 가능하게 만듭니다. 당신은 프롬프트(prompt)만으로는 이 문제를 해결할 수 없습니다. "완료되었다고 주장하기 전에 검증해 주세요"라는 문구는 GitHub의 거의 모든 CLAUDE.md에 포함되어 있지만, 트레이스 데이터에 따르면 이것은 안정적인 완화책(steady-state mitigation)으로서 작동하지 않습니다. 실제로 효과를 보는 개입은 대역 외(out-of-band) 방식입니다 — 세션 경계에서 결정론적 코드(deterministic code)를 실행하고 종료를 허용하지 않는 Claude Code 훅(hook)입니다. 이 포스트는 세 가지 프로덕션급(production-grade) 접근 방식을 비교합니다: verify-before-stop (로그 기반 계약), no-vibes (텍스트 어휘 판사), 그리고 no-unreachable-symbol (코드베이스 정적 분석 어드바이저)입니다. 이들은 서로 경쟁하는 것이 아니라, 동일한 Mode 3.3의 서로 다른 하위 실패들을 잡아냅니다.

전략 1: verify-before-stop — 로그 기반 계약 (log-based contract)
ianymu/claude-verify-before-stop은 검증을 반드시 기록되어야 하는 별개의 이벤트로 취급합니다. 이 훅은 Claude Code의 정지(Stop) 이벤트 발생 시 실행되어, 워킹 트리(working-tree)의 diff를 읽고, 파일이 변경되었음에도 새로운 VERIFIED 로그 항목이 존재하지 않는다면 세션 종료를 거부합니다.

이 메커니즘은 휴리스틱 (Heuristic)이 아니라 계약 (Contract)입니다:

#!/bin/bash

.claude/hooks/verify-before-stop.sh (발췌)

stdin으로부터 Stop-event 페이로드 (Payload)를 읽음

PAYLOAD="$(cat)"

[ "$(echo "$PAYLOAD" | jq -r '.stop_hook_active // false')" = "true" ] && exit 0

이번 세션 동안 파일이 변경되었는가?

CHANGED="$(git diff --name-only HEAD 2>/dev/null)
$(git ls-files --others --exclude-standard 2>/dev/null)"

[ -z "$(echo "$CHANGED" | tr -d '[:space:]')" ] && exit 0

최근 5분 이내에 작성된 VERIFIED 항목을 요구함

LOG=".claude/state/stop-verify.log"
CUTOFF=$(( $(date +%s) - 300 ))
LATEST=$(grep '|VERIFIED' "$LOG" 2>/dev/null | tail -1 | cut -d'|' -f1)

if [ -z "$LATEST" ] || [ "$LATEST" -lt "$CUTOFF" ] ; then
echo "BLOCKED: files changed but no VERIFIED entry in last 5 min." >&2
echo "Run your verification (npm test / curl / psql) then:" >&2
echo "echo "$(date +%s)|VERIFIED" >> $LOG" >&2
exit 2 # exit 2 = 중단 차단, stderr를 모델에 노출
fi

exit 0

세션 내부에서 Claude는 증거를 명시적으로 기록해야 합니다:

npm test
echo "$(date +%s) |VERIFY_ACTION|npm test passed" >> .claude/state/stop-verify.log
echo "$(date +%s) |VERIFIED" >> .claude/state/stop-verify.log

잘 잡아내는 경우: 모델이 검증 도구를 한 번도 실행하지 않은 채 확신에 찬 종료 메시지를 작성하는 모든 유형의 실패 사례를 잡아냅니다. 계약이 외부적이기 때문에 (로그 파일이 모델의 컨텍스트 윈도우 (Context Window) 밖에 있음), 의역 공격 (Paraphrase attacks)이 통하지 않습니다. 누락된 로그 항목을 충족시킬 수 있는 영리한 문구는 존재하지 않기 때문입니다.

잡아내지 못하는 경우: VERIFIED 라인을 작성하기는 했으나 그 검증 내용이 가짜인 경우 (예: 사전 테스트 명령 없이 echo "VERIFIED"만 실행한 경우). 이 방식은 검증이 '수행되었음'을 강제하는 것이지, 검증이 '정확했음'을 강제하는 것은 아닙니다.

트레이드오프 (Tradeoffs): 언어 커버리지 제로 문제 (코드나 텍스트를 읽는 것이 아니라 파일 시스템 상태를 읽음), 구조적으로 거짓 양성 (False-positive) 비율 0% (파일 변경이 없는 순수 대화 턴에서는 침묵함), 60초 이내의 설정 시간, MIT 라이선스, bash와 python3 표준 라이브러리 외에 의존성 없음.

전략 2: no-vibes — 텍스트 어휘 판독기 (text-vocabulary judge) waitdeadai/no-vibes. llm-dark-patterns 제품군(suite)의 일부로, 정반대의 관점을 취합니다. 이 방식은 모델의 출력이 중단(Stop)될 때 출력되는 텍스트를 읽고, 근접한 증거(도구 출력 결과가 포함된 펜스 블록, 인식된 검증기 바이너리 이름, 해시, 종료 코드 등)가 동일한 메시지에 나타나지 않음에도 불구하고, 부적절한 종결을 나타내는 언어적 특징(예: "모든 테스트 통과", "좋아 보입니다", "작동할 것입니다", "검증됨")을 찾아냅니다. 이 탐지기는 결정론적 정규 표현식 (deterministic regex) + 로케일 팩 (locale packs) + 앱 개발, DevOps, k8s, 클라우드 및 데이터베이스 도구 전반에 걸친 200개 이상의 항목을 포함하는 증거 바이너리 허용 목록 (evidence-binary allowlist)으로 구성됩니다. 운영자는 포크(fork) 없이 ${XDG_CONFIG_HOME}/llm-dark-patterns/packs/ 경로에 .txt 파일을 추가하는 것만으로 이를 확장할 수 있습니다.

개념적 패턴 (실제 훅은 부정 처리 및 근접성 윈도우를 포함하여 약 530줄에 달함):

POSITIVE_CLOSEOUT_RE = '\b(all tests pass(ed|ing)?|looks good|should work|verified|fixed|done|complete[d]?)\b'
EVIDENCE_BINARY_RE = '\b(npm|pytest|cargo|go test|jest|playwright|curl|psql|kubectl|terraform|...)\b'
MSG = " $( cat | jq -r '.message.content // empty' ) "

if printf '%s' " $MSG " | grep -qE " $POSITIVE_CLOSEOUT_RE " ; then
    if ! printf '%s' " $MSG " | grep -qE " $EVIDENCE_BINARY_RE " ; then
        echo "no-vibes: 동일 메시지 내 증거 없는 긍정적 종결(positive closeout)." > &2
        echo "검증기를 실행하고 그 출력을 인용하거나, 주장을 완화하십시오." > &2
        exit 2
    fi
fi
exit 0

실증적 기준점 (Empirical baseline): Mode 3.3에 대한 MAD의 인간 라벨링 서브셋(n=19)에서 F1 0.815 (95% 신뢰 구간 [0.615, 0.941])를 기록했습니다. 이는 해당 제품군의 umbrella suite 내 evaluation/MAST-RESULTS.md에 게시되었습니다. 전체 LLM 판독기(LLM-judge) 서브셋(n=954)에서는 F1 0.308을 기록했습니다. LLM 판독기가 인간 주석가(human annotators)보다 노이즈가 더 많기 때문에 재현율(recall)은 높지만(0.486) 정밀도(precision)는 낮게 나타납니다.

잘 잡아내는 것: "자신감 연기 (confidence theater)" 표면. 모델이 성공적인 턴 (turn)을 수행한 듯한 어휘를 사용하지만, 실제로 아무것도 실행하지 않은 경우입니다. 세션 종료 시점에만 작동하는 verify-before-stop의 순수한 보완재로서 유용하며, 메시지 중간(PreToolUse / Stop)에 트리거될 수 있습니다. 잡아내지 못하는 것: 모델이 아주 단호하게 종료하는 경우 — 긍정적인 동사가 전혀 없고, 단순히 "추가한 파일들입니다."라고만 하는 경우입니다. 일부 실패 모드(failure modes)는 기술적으로는 긍정적인 종료가 아니지만 여전히 완료를 암시하는 산문을 생성함으로써 '분위기 없음(no-vibes)'을 우회합니다. 트레이드오프 (Tradeoffs): 언어 지원 범위는 로케일별 팩(locale pack) 단위입니다 (영어, 스페인어, 폴란드어는 포함되어 있으나, 다른 언어는 .txt 기여가 필요합니다). 오탐률 (False-positive rate)은 0이 아닙니다 — 운영자들은 정당한 유보적 긍정 턴 (hedged-positive turns)에서 가끔 트리거된다고 보고하며, 이로 인해 2026년 5월 릴리스에서는 절 (clause) 단위의 부정문 강화 (negation hardening)가 적용되었습니다. 설정: 플러그인 마켓플레이스를 통해 30초 만에 완료하거나 curl 한 번으로 가능합니다.

전략 3: no-unreachable-symbol — 코드베이스 정적 분석 (static-analysis) 어드바이저
세 번째 전략은 완전히 다른 경계에서 작동합니다. no-unreachable-symbol은 Stop 시점에 트리거되어, 작업 트리 (working tree)를 HEAD와 디프 (diff)하고, 추가된 라인에서 새로운 공개 Python 심볼 (public Python symbols)을 추출합니다. 그런 다음 데코레이터 (@app.route, @pytest.fixture, @click.command), all 마커, 레지스트리 패턴 (HANDLERS["foo"] = sym), 그리고 프라이빗 접두사 (private prefixes)를 이해하는 제외 인식 grep (exclusion-aware grep)을 통해 호출자 (callers)가 0인 심볼을 플래그(flag) 처리합니다.

개념적 흐름 (실제 훅은 약 200라인입니다):

DIFF = " $( git diff HEAD -- '.py' ) "
NEW_SYMBOLS = " $( printf '%s' " $DIFF " | grep -E '^+\s(def|class)\s+' | sed -E 's/^+\s*(def|class)\s+([a-zA-Z_][a-zA-Z0-9_])./\2/' | sort -u ) "

프라이빗 (_foo) 및 던더 (foo) 심볼 제외

데코레이터로 연결된 심볼 (프레임워크 콜백) 제외

all 공개 API 마커 준수

... (실제 스크립트의 전체 제외 로직)

for sym in $REMAINING_SYMBOLS ; do
CALLERS = " $( grep -rE " \b $sym \b " --include = '*.py' --exclude-dir = tests .

| grep -vE "^[^:]+: \s *(def|class) \s + $sym \b " || true ) " if [ -z " $CALLERS " ] ; then echo "ADVISORY: new public symbol ` $sym ` has zero callers." > &2 fi done # 기본값: 권고 모드 (stderr로 exit 0). 환경 변수를 통한 엄격 모드: [ " ${ LDP_UNREACHABLE_SYMBOL_BLOCK :- 0 } " = "1" ] && exit 2

잘 잡아내는 경우: Claude가 리팩터링 (refactor)의 일환으로 새로운 공개 함수(public function)나 클래스(class)를 생성하고, 리팩터링이 연결되었다고 주장하지만 정작 호출자(caller)를 전혀 수정하지 않는 특정 실패 사례를 잘 잡아냅니다. 이는 no-vibes(긍정적인 종료 언어가 사용되지 않음) 방식으로는 감지할 수 없으며, verify-before-stop(모델이 테스트를 실행한 후 성실하게 VERIFIED라고 기록했지만, 새로운 심볼을 호출하는 코드가 없었기 때문에 테스트가 통과된 경우) 방식으로도 감지할 수 없습니다.

잡아내지 못하는 경우: Python 이외의 언어 (Slice 0은 Python 전용이며, TS/JS/Rust/Go는 로드맵에 포함됨), 그리고 심볼이 호출되기는 하지만 grep이 해결할 수 없는 getattr 또는 문자열 기반 리플렉션 (reflection)을 통한 동적 디스패치 (dynamic-dispatch) 패턴의 경우입니다.

트레이드오프 (Tradeoffs): 언어 커버리지가 제한적입니다 (Slice 0은 Python만 지원). 훅(hook)이 인식하지 못하는 레지스트리 패턴 (registry patterns)에 크게 의존하는 코드베이스의 경우 오탐률 (False-positive rate)이 0이 아닙니다. 따라서 기본적으로는 권고 모드(advisory-by-default)로 배포하며, LDP_UNREACHABLE_SYMBOL_BLOCK=1을 통해 엄격한 차단(strict-blocking)을 선택적으로 사용할 수 있게 했습니다. MAD는 git-diff-vs-codebase의 정답지(ground truth)가 없는 텍스트 전용 트레이스 (traces)이므로 경험적인 F1 베이스라인은 없으며, 대신 12개 시나리오의 스모크 하네스 (smoke harness)를 기준으로 배포됩니다.

Side-by-side
Dimension verify-before-stop no-vibes no-unreachable-symbol Signal source filesystem (VERIFIED log) model's outgoing text git diff + codebase grep Operator effort per session active (must echo VERIFIED ) passive passive (advisory) / active opt-in (strict) Catches false closeout phrasing no (out-of-band) yes (primary target) no Catches verified-but-bogus no partially no Catches dead-code-on-merge no no yes Language coverage language-agnostic per-locale pack (en/es/pl ship) Python (Slice 0) Empirical F1 vs MAST 3.3 not published (strict contract; no false-negative-acceptable mode) 0.815 human-labelled, 0.308 LLM-judge n/a (no ground truth dataset) False-positive rate ~0 (silence when no files changed) low but non-zero (hedge-then-positive cases) non-zero on heavy-registry codebases Setup time 60s 30s (plugin marketplace) or 60s (curl) 30s (part of umbrella plugin) License MIT Apache 2.0 Apache 2.0
어떤 것을 사용할 때: verify-before-stop은 빈번한 파괴적 작업(데이터베이스 마이그레이션, API 배포, 인프라 변경 등)을 수행하는 단일 개발자 Claude Code 프로젝트에서 미검증된 종료가 높은 비용을 초래할 때 사용합니다 (롤백, 온콜 페이지, 데이터 손실). 이 능동 로깅 규율은 설계상 마찰(friction by design)을 발생시켜 검증 단계를 근육 기억으로 만듭니다. Mode 3.3에서 프로덕션 환경에 영향을 받은 개별 기여자들에게 가장 강력한 계약(hardest contract)을 원하는 경우에 적합합니다.
no-vibes는 능동 로깅이 비실용적인 여러 짧은 턴(short turns)을 거쳐 작업할 때 사용합니다 (예: 확장된 탐색 세션, 계획 작업, 다중 에이전트 감독관 종료). 또한 지역화 패키지(locale packs)와 증거-바이너리 허용 목록(evidence-binary allowlist)이 일반화되기 때문에 다국어 스택에도 적합하며, 가짜 성공의 어휘가 주요 실패 표면인 팀 — 주니어 코딩 프롬프트로 인한 과신적인 종료 또는 긴 세션에서의 모델 드리프트 — 에도 적합합니다.

코드베이스가 주로 Python이고 주요 실패 형태가 "리팩터링 신기루 (refactor mirage)"라면 no-unreachable-symbol을 사용하세요. 이는 Claude가 새로운 헬퍼(helper)를 추가했지만 호출자(caller)를 전혀 수정하지 않았고, 새로운 심볼(symbol)을 실행하는 코드가 없어 테스트는 여전히 통과하지만, PR(Pull Request)을 검토할 때서야 비로소 이를 발견하게 되는 상황을 의미합니다. 특히 사용되지 않는 공개 심볼(public symbol)이 API 표면의 일부가 되어 영구적인 유지보수 비용을 발생시키는 라이브러리 작업에서 매우 유용합니다.

의사결정 지름길:
"테스트는 통과(green)하지만 운영 환경은 불타고 있다" → verify-before-stop (모델 어휘의 문제가 아니라 테스트와 실제 환경 간의 불일치가 발생한 상황).
"Claude가 아무것도 실행하지 않았음을 알고 있는 턴(turn)에서 '좋아 보인다(looks good)'라고 말한다" → no-vibes.
"PR 리뷰어들이 Claude가 추가한 고립된 코드(orphan code)를 계속 발견한다" → no-unreachable-symbol.

세 가지를 모두 결합하기: 심층 방어 (defense-in-depth)
이 훅(hook)들은 서로 조합됩니다. 각각은 서로 다른 격차를 메워줍니다. 세 가지를 모두 통과한 세션은 파일 시스템 계약(filesystem-contract), 텍스트 증거(text-evidence), 그리고 심볼 증거(symbol-evidence)가 일치함을 의미하며, 이는 대략적으로 MAST 3.3이 실제로 요구하는 계약과 일치합니다.

{ "hooks" : { "Stop" : [ { "matcher" : "*" , "hooks" : [ { "type" : "command" , "command" : "bash .claude/hooks/verify-before-stop.sh" }, { "type" : "command" , "command" : "bash .claude/hooks/no-vibes.sh" }, { "type" : "command" , "command" : "bash .claude/hooks/no-unreachable-symbol.sh" } ] } ], "PreToolUse" : [ { "matcher" : "*" , "hooks" : [ { "type" : "command" , "command" : "bash .claude/hooks/no-vibes.sh" } ] } ] } }

순서가 중요합니다: verify-before-stop을 가장 먼저(가장 저렴한 검사이며, 읽기 전용 세션에서 조기 종료됨), 그다음 no-vibes(텍스트 스캔), 마지막으로 no-unreachable-symbol(가장 비용이 많이 듦 — 전체 리포지토리 grep 실행) 순으로 배치합니다. 종료 코드(exit code) 2를 반환하는 모든 훅은 중단(stop)을 차단하고 해당 오류를 노출합니다.