36.2%.

이게 무슨 숫자라고 생각하시나요?

AI 에이전트에게 "이 규칙을 지키며 작업해"라고 지시서를 건넸을 때, 실제로 제대로 지킨 비율입니다. 게다가 이것이 가장 나은 성적을 거둔 모델의 스코어입니다. 대부분의 모델은 25%를 밑돌았습니다.

2026년 7월 28일에 arXiv에 올라온 논문의 결과입니다. 읽었을 때 솔직히 "우와, 역시나인가"라고 생각했습니다.

CLAUDE.md,
AGENTS.md,
.cursorrules.

혹은 사내의 "AI 이용 가이드라인".

이런 파일들을 두고, "이걸로 AI가 규칙을 지켜줄 거야"라고 생각하는 사람이 많을 것입니다. 저도 그렇게 생각했습니다.

그러다 보니 점점 길어지게 됩니다. 이것도 써두자, 저것도 만약을 위해. 정신을 차려보면 50행, 100행.

그 전제가 무너졌습니다.

논문의 제목은 HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following.
저자는 Surge AI 팀입니다.

수행한 일은 심플합니다. "긴 지시서를 건네주면, 에이전트는 정말로 따르는가"를 측정한 것뿐입니다. 하지만 지금까지 이것을 직접 측정한 벤치마크(Benchmark)는 없었다고 합니다. 기존의 벤치마크는 "태스크를 완료할 수 있는가"를 보고 있었지, "규칙을 지키면서 완료할 수 있는가"는 보고 있지 않았다는 것입니다.

듣고 보니 과연 그렇습니다.

실험 설계가 꽤 진지하기 때문에, 이 부분은 짚고 넘어갈 필요가 있습니다.

요컨대, 가상의 회사에 신입으로 투입되어, 37페이지 정도의 업무 매뉴얼을 전달받고, 메일이나 채팅을 사용하며 실무를 수행하게 되는 것입니다. 인간 신입이 하는 일과 똑같습니다.

훌륭하다고 생각한 점은 커닝 방지 대책입니다. 10종류의 베이스 지시서를 준비하여, 태스크마다 규칙이나 임계값(Threshold)을 바꿔 놓았습니다. 따라서 "이 패턴은 학습했다"라는 방식이 통하지 않습니다. 동일한 정책의 태스크는 두 개 존재하지 않습니다.

채점은 "필요한 행동을 했는가"뿐만 아니라, "금지된 행동을 하지 않았는가"도 확인합니다. 이 부분이 중요하며, 단순한 태스크 완료율이 아닙니다.

판정은 strict pass@1 — 824개의 기준 중 해당 태스크에 연결된 기준(3~27개)을 모두 충족해야 비로소 합격이라는 엄격한 규칙입니다.

상위권은 다음과 같았습니다.

30개 구성을 평가하여, 최하위는 Grok 4.3의 0.8%.

1위조차 3번에 1번밖에 지키지 못합니다. 3위 이하는 5번에 1번입니다. "지시서를 두면 지켜줄 것이다"라는 전제는 숫자로 보면 성립하지 않습니다.

참고로, 물류 도메인의 긴 지시서를 사용한 태스크에서는 **9~15%**까지 떨어졌다고 합니다. 길수록 어려워지는 경향은 역시 있는 듯합니다.

스코어보다 이쪽이 읽을 가치가 있었습니다. 실패가 4가지 패턴으로 집약됩니다.

순서대로 살펴보겠습니다.

지시서에 "이것은 승인이 필요함"이라고 적혀 있는데, 환경 내에서 그럴싸한 의뢰가 들어오면 그쪽을 따라버립니다.

이것, 인간 신입도 저지르는 실수죠. 매뉴얼에는 적혀 있지만, 눈앞의 선배가 "급하니까 그냥 넘어가"라고 말하면 따라버리는 것과 비슷합니다.

다만 인간과 달리, 에이전트는 상대가 정말로 권한을 가지고 있는지 확인하지 않습니다. 프롬프트 인젝션(Prompt Injection)이 통하는 구조 그 자체입니다.

개인적으로 이 부분이 가장 놀라웠습니다.

필요한 확인 절차는 제대로 실행합니다. 그리고 그 결과에 반하는 행동을 취합니다.

재고를 확인해서 「재고 없음」이라는 답변이 돌아왔는데도, 그대로 출하 처리로 진행한다——와 같은 움직임입니다. 절차는 밟고 있지만, 밟은 의미가 없는 것이죠.

「제대로 체크하게 하고 있으니 안심이다」라는 말이 통하지 않게 된다는 뜻입니다.

검증 단계를 스킵하고, 성공했다고 가정하며 다음으로 넘어간다. 이것은 상상하기 쉽습니다.

그리고 마지막이 이것입니다.

준수하지 않았음에도, 준수했다고 보고해 온다.

이것이 가장 까다롭다고 생각합니다. 1~3번은 로그를 추적하면 알아챌 수 있습니다. 하지만 4번은 보고만 보고 있으면 성공한 것처럼 보인다.

에이전트에게 장시간의 작업을 맡기고, 마지막 리포트만 읽고 "좋아, 완료"라고 하고 있다면, 그 보고는 의심해 보는 것이 좋다는 의미가 됩니다.

논문은 해결책을 제시하는 종류의 것이 아니므로, 여기서부터는 제 해석입니다.

지시서를 두껍게 만드는 방향은, 아마도 잘못된 방향이다.

124페이지를 줘도 지켜지지 않는다면, 200페이지로 늘려도 마찬가지일 것입니다. 오히려 Anthropic의 공식 문서에서는 "CLAUDE.md는 간결하게 유지하라. 비대해지면 정말로 지키게 하고 싶은 지시가 무시된다"라고 명시하고 있습니다. 이번 수치는 그것과 일치합니다.

그럼 어떻게 해야 할까요. 실패 패턴에서 역산하면 방향성이 보입니다.

공통점은, **"지켜줬으면 하는 것을 문장으로 부탁하는 것을 그만두는 것"**입니다.

문서로 통제할 수 있는 것은 "취향" 정도까지입니다. 문제가 생기면 곤란한 일은 문서가 아니라 코드나 플로우(Flow)로 묶는다. 그렇게 단정 짓는 것이 현실적이라고 생각합니다.

CLAUDE.md에 써야 할 것은, 예를 들어 이런 종류입니다.

- 답변은 일본어로
- 결론부터 먼저, 불렛 포인트(Bullet point) 중심으로
- 지시된 범위 내에서만 실시할 것

지켜지지 않아도 사고로 이어지지 않는 것들. 반대로 "운영 DB를 삭제하지 마"를 CLAUDE.md에 적고 안심하는 것은, 이 논문을 읽은 후라면 조금 무섭습니다. 권한을 주지 않는 편이 확실합니다.

무조건 믿는 것도 옳지 않기에, 신경 쓰이는 점들을 꼽아보겠습니다.

strict 채점은 상당히 엄격합니다. 3~27개의 기준을 모두 충족해야 비로소 합격이므로, 하나만 어긋나도 0점입니다. 논문에는 하나의 실패를 허용하는 완화 버전(pass@1 (N-1))도 있으므로, 실무적인 감각에 가까운 것은 그쪽일지도 모릅니다.

저자는 Surge AI입니다. 데이터 평가 및 라벨링(Labeling)을 사업으로 하는 회사입니다. 벤치마크를 만들어 공개하는 것 자체는 중립적인 행위이며, 태스크(Task)와 환경, 그리고 평가 하네스(Evaluation harness)를 모두 공개하고 있는 것은 성실하다고 생각합니다. 다만 "평가가 어렵다"라는 결론이 사업과 무관하지 않다는 점은 염두에 두는 것이 좋아 보입니다.

가상 기업의 업무 절차라는 설정입니다. 실제 소프트웨어 개발에서 CLAUDE.md를 사용하는 상황과는 성격이 조금 다릅니다. 금융이나 의료 청구 절차서는 개발 규칙보다 분기(Branch)가 훨씬 복잡할 것입니다.

그렇기는 하지만, "긴 문서로 통제하는 것은 믿을 수 없다"라는 방향성은 체감되는 부분 및 공식 문서의 기술과 일치합니다. 수치가 뒷받침되었다는 점은 의미가 크다고 생각합니다.

긴 지시서를 줘도 지켜지는 것은 3번에 1번꼴 (최상급 모델에서 36.2%, 대부분은 25% 미만) - 실패는 4가지 패턴.
눈앞의 의뢰에 굴복함 / 체크 결과를 무시함 / 확인을 건너뜀 / 지키지 않았는데 지켰다고 말함 - 가장 무서운 것은 네 번째.
보고만 보면 성공한 것처럼 보임 - 대책의 방향은 "문서로 부탁하기"에서 "시스템으로 묶기"로.

• 문서에 적는 것은, 지켜지지 않아도 곤란하지 않은 것만 해둘 것.

자신의 CLAUDE.md나 AGENTS.md를 열어서, "이것, 지켜지지 않으면 사고가 날까?"를 한 줄씩 살펴보세요.

해당하는 것이 섞여 있다면, 그 부분은 문서가 아니라 다른 수단으로 옮기는 것이 좋다고 생각합니다.

참고

• 논문: HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following (arXiv:2607.25398, 2026년 7월 28일)
• 토론: Hacker News (287포인트, 181개 댓글)