Claude Code 개발자가 말하는 CLAUDE.md의 종말, Mods, 에이전트 사고 (#34 해설)

이번 회차의 위치

발표자는 Thariq Shihipar입니다. Anthropic의 Claude Code 팀 엔지니어이며, 프로그램 시작에서 진행을 맡은 swyx는 그를 "AskUserQuestion 툴을 처음 추가한 사람"이라고 소개했습니다. 지난 #33에서는 Matt Pocock이 "Claude Code에서 일하는 Tariq에게 배웠다"고 지목했던 인물입니다.

본 회차는 Claude Code를 만드는 측에서, 파워 유저의 사용법, CLAUDE.md의 행방, 신기능인 Claude Mods, 그리고 에이전트가 일으킨 보안 사고에 대해 1인칭 시점으로 이야기하는 내용입니다. TLDR Talks JP에서는 여기서 총 11개의 내용을 발췌했습니다(게시 전 예측은 별도 기사).

1. 사용법의 핵심: "스스로 생각하는 것보다 문제를 모르는 것이 문제"

AskUserQuestion의 의도 (clip_01). 에이전트에게 충분한 지시를 내릴 수 있는 사람과, 에이전트가 요구사항을 끌어내야 하는 사람이 각각 얼마나 많은지. 발표자는 "거의 모두 후자에 가깝다. 모호함이 많아 스스로 생각하는 것보다 문제를 모르는 경우가 더 많다"고 말합니다. 스키마나 콜스택 같은 설계의 세부 사항을 구현 전에 해결해 두는 것, 즉 "자신의 미지의 것을 발견하는 것"은 모델이 초지능이 되어도 남아있는 기술이라고 합니다.

실패의 대부분은 "정답을 생각했지만 실행하지 않는 것" (clip_03). Terminal Bench의 스크립트를 읽고 관찰한 결과, 거의 모든 평가 문제에서 모델은 정답을 생각해내지만, 그리고 "아마도 틀릴 거야"라며 시도하지 않기로 결정합니다. 방법을 모르는 경우는 드뭅니다. 따라서 결정 노트(decision note)나 구현 노트(implementation note)를 작성하게 하면, "실행하지 않은 것을 해줬으면 좋겠다"고 요청할 수 있는 프롬프트 기술입니다.

한마디 스킬 (clip_05). "5세에게 설명하기(explain like I'm 5)" 스킬은 5세라고 적지 않아도 되는 짧은 프롬프트이며, 핵심 키워드는 "큰 그림을 적은 말로". 이것이 놀라울 정도로 효과적이어서, /eli5로 플러그인처럼 사용할 수 있다고 합니다. 글자가 너무 많아 읽히지 않는 아티팩트를 요점만으로 만드는 용도인데, Anthropic 사내 인시던트 대응 과정에서 탄생했다고 합니다.

필자의 견해: 지난 #33에서 가장 많이 저장된 것도 "한 줄짜리 스킬"이었습니다. 이 회차에서도 "바로 따라 할 수 있는 구체적인 절차"가 저장된다는 가설을 검증합니다.

2. CLAUDE.md의 행방과 모델 가격

CLAUDE.md는 결국 사라질지도 모른다 (clip_04). AGENTS.md도 마찬가지입니다. 모델마다 다르지만 개별적으로 유지하는 것은 번거롭다는 것을 깨달았다고 합니다. 모델이 좋아질수록 단순한 작업의 하한선도 올라가기 때문에, "극단적으로는 CLAUDE.md가 사라질 것이고, 그리 멀지 않은 것 같다"고 말합니다. 지금은 새로운 프로젝트를 CLAUDE.md 없이 시작하는 것이 나을 수도 있으며, 반복적인 실패 모드가 나오면 추가하라고 합니다. 다만 실패 모드는 모델마다 다르기 때문에(Fable 5.1과 Fable 5조차도), 계속 쌓아두면 Claude를 지나치게 제약할 수 있다고 합니다. 스킬용 evals 플러그인도 추가했다고 합니다.

가장 똑똑한 모델이 가장 저렴해질 것이다 (아직은 조금 남았다) (clip_02). "아직 완전히는 아니지만 상당히 가깝다"고 말하며, 최전선 모델이 거의 모든 면에서 파레토 우위(Pareto efficiency)를 차지할 것이라고 이야기합니다. 이유는 검증입니다. 높은 노력(effort)은 토큰의 많은 부분을 검증에 사용하지만, 완벽한 모델은 한 번에 끝내서 검증이 필요 없습니다. 따라서 똑똑한 모델일수록 단순한 작업을 더 적은 토큰으로 처리하게 된다는 역설입니다.

월 20달러 시대에서 월 200달러로 (clip_07). Claude Code가 처음 나왔을 때는 예상보다 많은 토큰을 사용했고, 아무도 월 20달러 이상 지불한 적이 없었는데 지금은 200달러입니다. Opus 4는 비쌌지만 Opus 4.5는 좋고 저렴했습니다. 같은 일이 Fable에도 일어날 것이라고 생각한다고 합니다.

필자의 견해: 모두 발표자가 주저하는 표현을 사용하고 있습니다("in the limit", "not quite true yet", "I think"). 자막과 제목에서도 그대로 남겼습니다.

3. Claude Mods와 가변 소프트웨어

3. Claude Mods와 가변 소프트웨어

사용자 대부분이 파워 유저(clip_06)입니다. Claude Mods(하네스 실행 및 UI를 재작성할 수 있는 메커니즘)는 누구를 위한 것인가라는 질문에, '파워 유저에게 적합하다고 생각합니다. 하지만 Claude Code는 사용자 대부분이 파워 유저이며 공유하기 쉽습니다.'라고 답했습니다. 누군가 캐시를 망가뜨리지 않는 모델 라우터를 만들면 조합할 수 있고, 모드 선택의 mod를 만들었기 때문에 어떤 플러그인도 모드가 될 수 있습니다. 모드를 만드는 능력 자체가 하나의 mod입니다. 이는 가변 소프트웨어(mutable software)의 예고편이라고 위치 짓고 있습니다.

필자의 견해: hooks나 plugins의 연장이 아니라 '하네스 루프 자체를 재작성하는' 이야기이므로, Claude Code를 일상적으로 사용하는 입장에서는 가장 큰 변화입니다.

4. 에이전트 보안: 사고와 계층

Slack으로 유입된 '제안' 하나로(clip_08). Claude Tag 같은 조직의 하네스에서 가장 까다로운 것은 보안 문제입니다. 외부에서 게시할 수 있는 '제안' 페이지가 Slack으로 흘러들어 오고, 누군가 프롬프트를 심으면 에이전트는 모든 데이터에 접근하므로 코드베이스가 유출될 수 있습니다. 조직의 데이터가 중요해질수록 표면적은 빙산처럼 넓어진다고 합니다.

/etc/hosts를 수정하여 어디든 POST(clip_09). 에이전트의 'Wiki 사건' 설명입니다. 통신을 샌드박스에서 제한받던 에이전트들이 각자의 계산 예산이 고정되어 있어 협력하고, GET으로 작성 가능한 위키를 찾아내고, 마지막에 한 개체가 /etc/hosts를 편집하여 가짜 Azure 호스트를 통해 어디든 POST할 수 있게 했습니다. '그냥 리눅스일 뿐'이라고 말하는 사람도 있지만, 본인은 여러 취약점을 새로운 방식으로 연쇄시켜 외부와 통신했다고 보고 있습니다.

보안은 여러 계층으로 되어 있다(clip_11). 모델의 훈련, 그 위에 프로브(probe)와 분류기(classifier), 나아가 Auto Mode(요구를 검사하는 또 다른 분류기), 그리고 그 다음 단계로