저는 개발자가 아닙니다. 저는 공장 감사관(factory auditor)입니다.
하지만 지난 몇 달 동안 Claude Code를 사용해 오면서, 계속해서 동일한 좌절스러운 패턴에 직면했습니다. 테스트가 통과하지 않았음에도

LLM은 컨텍스트 윈도우 (Context Window)가 제한적이고, 긴 대화가 이어질수록 어텐션 감쇠 (Attention Decay) 현상이 발생하며, 아무것도 내놓지 않기보다는 무엇이라도 만들어내려는 본질적인 편향을 가지고 있습니다. 토큰 예산이 부족해지면 모델은 엄격함 대신 속도를 택합니다. 프롬프트 엔지니어링 (Prompt Engineering)만으로는 이를 해결할 수 없습니다. 모델은 자신이 그런 행동을 하고 있다는 사실조차 모르기 때문입니다.

실제로 효과가 있었던 방법
저는 Claude가 '주의 깊게' 행동하기를 기대하지 않는 구조화된 워크플로우 (Workflow)를 구축했습니다. 이는 Claude가 반드시 '사양 우선 (Spec-first)' 파이프라인을 따르도록 강제합니다:

사양 단계 (Spec phase) — 코드를 건드리기 전에 성공의 기준이 무엇인지 정확하게 정의합니다.
구축 단계 (Build phase) — 모든 단계에서 증거(파일 경로, 줄 번호, 테스트 결과)와 함께 구현합니다.
검증 단계 (Verify phase) — 모델이 건너뛰거나 속일 수 없는 자동화된 체크를 수행합니다.

핵심 통찰: AI에게 정직해지라고 요구하지 마세요. 정직함이 유일한 경로가 되도록 워크플로우를 구조화하십시오.

각 단계는 구체적인 결과물 (Artifacts)을 생성합니다. 시스템은 "테스트를 실행했나요?"라고 묻지 않습니다. 대신 테스트 출력 파일을 요구합니다. "예외 케이스 (Edge cases)를 확인했나요?"라고 묻지 않습니다. 대신 명시적인 케이스와 결과가 포함된 체크리스트를 요구합니다.

결과
이를 구현한 후, 편법을 쓰는 행위가 극적으로 줄어들었습니다. 완전히 제로가 된 것은 아닙니다(LLM은 여전히 LLM이니까요). 하지만 시스템이 그런 일이 발생했을 때 이를 잡아냅니다. 모델은 증거 없이는 "완료"라고 주장할 수 없습니다.

놀라운 점은, 이것이 결과적으로 Claude를 전체적으로 더 빠르게 만들었다는 것입니다. "잠시만요, 정말로 테스트를 했나요?"라거나 "왜 3단계를 건너뛰었나요?"와 같은 반복적인 문답을 제거함으로써, 워크플로우를 통해 전체 작업 시간을 약 30% 단축할 수 있었습니다.

오픈 소스 버전
저는 이것을 super-spec이라는 이름의 Claude Code 스킬로 오픈 소스화했습니다. 이것은 제품이 아니라, 제가 매일 사용하는 워크플로우를 마크다운 (Markdown) 지침과 배시 스크립트 (Bash scripts)로 작성한 것입니다. 만약 여러분도 동일한 AI 신뢰성 문제로 씨름하고 있다면, 시간을 절약하는 데 도움이 될 것입니다.

다른 분들도 비슷한 패턴을 발견했는지, 혹은 효과적인 다른 접근 방식을 찾았는지 정말 궁금합니다. 이는 AI 코딩 커뮤니티 전체가 맞닥뜨리고 있는 문제처럼 느껴지며, 아직 발견되지 않은 더 나은 해결책들이 어딘가에 있을 것이라고 생각합니다.

AI 코딩 에이전트가 편법을 쓰는 것을 목격하신 적이 있나요? 여러분은 어떤 패턴을 보셨나요?