최첨단 AI를 기술적인 내용까지 깊이 있게 파헤치는 「AI 워치」의 심층 분석 기사입니다. 주제는 cleverhoods 씨의 "Instruction systems capability ladder"라는 프레임워크입니다. 1차 정보(원문 기사)를 바탕으로 작성되었습니다.

CLAUDE.md

(또는 AGENTS.md)

에 "테스트를 작성한 뒤 커밋해줘"라고 적어두었는데, 긴 태스크를 수행하는 도중에 슬그머니 무시당한── 그런 경험, 없으신가요? 짧은 태스크에서는 따르는데, 복잡해지면 따르지 않습니다. 변덕스럽게 보이는 이 동작에는 사실 제대로 된 이유가 있습니다.

cleverhoods 씨가 제시한 **"Instruction systems capability ladder"**라는 프레임워크가 이를 하나의 척도로 설명해 줍니다. 지시 시스템(=에이전트의 harness)을 L0부터 L7까지 8단계로 나열한 것입니다. 이를 이해하면 "우리 집 CLAUDE.md는 왜 가끔 말을 안 들을까"라는 모호한 고민이, "지금 우리는 L5 단계에 있으니 말을 안 듣는 것이 당연하다. L6로 올라가면 해결된다"라는 구체적인 설계 판단으로 바뀝니다.

참고로 미리 말씀드리자면, L0–L7은 공식 규격이 아니라 이 저자가 제창하는 하나의 모델입니다. 다만, 나중에 살펴보겠지만 "왜 먹히고/안 먹히는지"에 대한 설명력이 매우 높습니다. 순서대로 살펴보겠습니다.

지난 1년간 몇 번이고 반복되어 온 이야기부터 시작하겠습니다. 같은 모델이라도 Claude Code나 Codex 안에서 구동하면, 단순한 채팅 화면보다 명확하게 더 똑똑하게 행동합니다. 왜 그럴까요?

답은 '모델의 똑똑함'이 아니라, 모델을 둘러싼 외골격(exoskeleton) = harness에 있습니다. Sebastian Raschka는 "Components of a Coding Agent"에서 코딩 에이전트의 강점의 정체는 도구 사용(tool use)・컨텍스트 관리(context management)・기억(memory)・권한(permission)・실행 피드백(execution feedback)・장시간 세션의 지속성을 책임지는 **발판(harness)**이지, 단일한 next-token 생성 그 자체가 아니라고 정리했습니다. harness를 「제대로 실행함(execution) / 계속 실행함(state) / 안정적으로 실행함(governance)」의 세 층위로 파악하는 관점도 있지만, 용어는 달라도 가리키는 대상은 같습니다.

즉, 경쟁의 중심은 「어떤 모델을 선택할 것인가」에서 「어떤 harness를 구축할 것인가」로 옮겨갔습니다. L0–L7은 그 harness를 「어디까지 정교하게 만들었는가」를 측정하는 눈금입니다.

이 프레임워크의 가장 핵심적인 부분입니다. 저자는 지시가 전달되는 경로를 **3가지 채널(channel)**로 나눕니다.

소프트 채널 (soft channel): 규칙이 모델의 컨텍스트 윈도우(context window) 안에서 주의력(attention)을 다투며 경쟁합니다. 부하가 높아지면 희석됩니다 (decay under load). 따라서 확률적으로만 작동합니다.

하드 채널 (hard channel): 강제 기제가 컨텍스트 외부에서 결정론적으로 작동합니다. 긴 태스크에서도 희석되지 않습니다.

셀프 라이팅 채널 (self-writing channel): 에이전트가 스스로 지시를 작성합니다. 사용자의 신호가 아니라, 태스크 완료를 트리거로 삼습니다.

CLAUDE.md의 규칙이 "먹혔다 안 먹혔다" 하는 이유는 그것이 소프트 채널에 올라타 있기 때문입니다. 주의력 경쟁에 참여하고 있는 이상, 긴 문맥이나 높은 부하 상황에서는 패배합니다. 변덕스러운 것이 아니라, 구조상 그렇게 될 수밖에 없습니다.

3가지 채널을 8단계로 할당한 것이 바로 이 라더(ladder)입니다.

많은 팀이 L1L5 사이의 어딘가에 머물고 있습니다. CLAUDE.md를 정비하고, 규칙을 경로(path)별로 나누고, 기술(skill)을 분리하여 서브 에이전트(sub-agent)에게 던지는 것──이 모든 것은 '좋은 일'이지만, **L0L5는 모두 동일한 물리 법칙 위에서 움직이고 있습니다**. 저자의 표현을 빌리자면 "run on the same physics"입니다. 즉, 아무리 다듬더라도 결국 컨텍스트 내에서의 주의력(attention) 쟁탈전이며, 확률적으로 실패할 수 있다는 뜻입니다.

이 사다리(ladder)에는 단순한 한 단계가 아닌 **두 개의 단층(fault line)**이 존재합니다.

첫 번째 단층은 소프트 채널(soft channel)과 하드 채널(hard channel)의 경계입니다. 저자의 예시가 그대로 적용됩니다. CLAUDE.md에 작성한 테스트 규칙은 "따를 때도 있고, 따르지 않을 때도 있습니다 (sometimes it follows, sometimes it doesn't)". 반면, 테스트가 실패하면 git push를 막는 PreToolUse 후크(hook)는 모델이 무엇을 생각하든 상관없이 실행됩니다. 긴 태스크를 수행하느라 주의력이 희석되는 일도 없습니다.

이 지점은 제가 이전에 작성했던 ClickHouse 운영기 내용과 직결됩니다. 그 글의 핵심은 "빠르고 자동화된 '판단의 벽'이, 거짓말을 하는 에이전트를 신뢰할 수 있는 존재로 바꾼다"였습니다. 그 '벽'이야말로 이 프레임워크에서 말하는 L6 = 하드 채널 그 자체인 것입니다. 부탁(소프트)이 아니라 강제(하드). 확률을 확정으로 바꾸는, 처음이자 가장 큰 단계입니다.

다음 단층은 '사람이 쓴 지시를 읽는 것'과 '에이전트가 지시를 쓰는 것'의 경계입니다.

헷갈리기 쉬운 것이 이른바 '메모리 기능'(여기서는 L6.5라고 부름)입니다. 사용자가 "이것 좀 기억해 둬"라고 명시적으로 저장합니다. 편리하지만, 작성한 것은 인간이며, 읽어올 때는 다시 소프트 채널로 돌아갑니다. 진정한 L7은 에이전트 스스로가 "이것은 저장할 가치가 있는 궤적(trajectory)이다"라고, 재촉받지 않고도 깨달아 작성하는 단계까지 나아갑니다.

저자가 "현재 출판물에서 볼 수 있는 가장 명확한 L7"로 꼽는 것이 Hermes Agent입니다. 기사는 Hermes가 다음 4가지 조건에서 기술 추출(skill extraction)을 시작한다고 설명합니다.

• 5회 이상의 도구 호출(tool call)이 포함된
  성공 태스크, 에러로부터의 복구, 사용자에 의한 수정, 새로운 워크플로우의 발견

핵심은 이 중 3가지는 "저장해야 할 순간이 일어났다는 것을 에이전트만이 알고 있다"는 점입니다. 인간은 알아차릴 수 없습니다. 따라서 에이전트 스스로가 작성할 수밖에 없습니다.

그리고 추출된 SKILL.md는 YAML 프론트매터(front matter) + "When to Use / Procedure / Pitfalls / Verification"라는 **정해진 형식(template)**에 맞춰 생성됩니다. 여기서 제가 가장 좋아하는 문구가 등장합니다.

Schema is the cheap version of supervision.
(스키마는 감독의 저렴한 대체물이다)

자유 기술 방식의 메모는 "에이전트가 작성하는 규율이 느슨해지는 속도와 마찬가지로 퇴화합니다". 하지만 형식을 강제하면, 작성하는 시점에 규율이 작동합니다. 구조 그 자체가 인간의 감시를 대신하여 품질을 보장합니다. ──이것은 L6의 "후크가 확률을 확정으로 바꾼다"는 이야기의 셀프 라이팅(self-writing) 버전인 셈입니다. 형식(schema)이 곧 강제입니다.

이 프레임워크의 강점은 자신의 하네스(harness)를 진단할 수 있다는 점이라고 생각합니다. 글을 다 읽으신 후 한 번 시도해 보세요.

• 규칙을 CLAUDE.md에 적어두기만 함 $\rightarrow$ 대체로 L1~L2
• 경로별로 구분하고 기술도 분리함 $\rightarrow$ L3~L4
• 서브 에이전트에게 던짐 $\rightarrow$ L5

...하지만, 후크로 강제하고 있는 부분이 있습니까? 없다면 아무리 다듬어도 천장은 L5입니다. "효가 있다 없다"를 반복하는 상태는 고쳐지지 않습니다.

그리고 중요한 것은, 모든 것을 L7까지 올릴 필요는 없다는 것입니다. L0~L5로도 충분한 지시사항은 산더미처럼 많습니다. 문제는, 확실히 작동하기를 바라는 제약 조건을 소프트 채널에 방치하고 있지는 않은가 하는 점입니다. "테스트를 통과하지 못하면 push를 허용하지 않는다", "운영 디렉토리는 건드리지 못하게 한다" ── 이런 종류의 "절대로 어긋나서는 안 되는" 것들만 L6의 하드 채널로 끌어올리세요. 그것이 가장 비용 효율적인 한 수입니다.

한 가지 짚고 넘어가야 할 점도 있습니다. L0–L7은 저자 한 명이 제창한 모델이며, 업계 표준은 아닙니다. 레벨의 경계(특히 L4 스킬과 L5 서브에이전트(Sub-agent)의 경계)는 도구에 따라 모호해질 수 있으며, L6.5와 같은 중간 단계도 현실에서는 섞여 나타납니다. 그럼에도 불구하고, "왜 같은 지시가 먹히기도 하고 먹히지 않기도 하는가"를 이토록 명쾌하게 설명하는 척도를 저는 달리 알지 못합니다.

경쟁의 무게 중심이 모델(Model)에서 하네스(Harness)로 옮겨갔다는 이야기는 몇 번이고 듣습니다. 하지만 그 하네스를 "어느 채널에, 어떤 제약을 실을 것인가"라는 해상도로 이야기할 수 있는 사람은 아직 많지 않습니다. 당신의 CLAUDE.md가 현재 몇 단계(L)인지 말할 수 있게 되는 것만으로도, 다음에 구축해야 할 곳이 한층 더 명확해질 것입니다.

1차 정보를 우선하여 나열합니다.

관련 자료 (harness란 무엇인가에 대한 보조선으로서):

• Components of a Coding Agent — Sebastian Raschka
• AI는 평기하게 거짓말을 한다. 그런데도 ClickHouse는 백만 줄의 C++를 돌린다 (AI Watch) ── L6 「판정의 벽」의 현장판

이 기사는 「AI Watch」에도 게재되었습니다. 최첨단 AI를 기술적 내용까지 깊이 있게 분석합니다.