새로운 벤치마크에서 평가된 30가지 AI 에이전트 (AI agents) 설정 중 가장 우수한 설정조차, 최대 124페이지에 달하는 가상의 기업 내부 매뉴얼을 단 하나의 규칙도 빠뜨리지 않고 따라야 할 때 테스트의 단 36.2%만을 통과했습니다.

이 벤치마크의 이름은 HANDBOOK.md이며, 7명의 연구팀이 2026년 7월 28일 arXiv에 발표했습니다. 이 벤치마크는 일반적인 방식과는 다른 것을 측정합니다. 즉, 에이전트가 작업을 완료할 수 있는지 여부가 아니라, 각 단계를 감독하는 사람 없이 작업을 수행하는 동안 길고 구속력 있는 정책을 준수하는지를 측정합니다.

TL;DR

• HANDBOOK.md는 직원이 기업 매뉴얼을 따르는 방식을 모방한 65개의 에이전트 작업(agentic tasks) 벤치마크입니다.
• 각 작업은 전문가가 작성한 20~124페이지 사이의 표준 운영 절차 (SOP, Standard Operating Procedure)를 사용합니다.
• 환경은 Model Context Protocol (MCP)를 통해 시뮬레이션된 이메일, 채팅, 캘린더, 이슈 관리 및 커머스를 노출합니다.
• 10개의 가상 기업에서 5개 도메인(금융, 의료 청구, 보험, 물류 및 인사(HR))을 다룹니다.
• 평가는 결정론적(deterministic)입니다: 824개의 프로그래밍 방식 기준이 요구되거나 금지된 행동을 검토합니다.
• 엄격한 평가 하에, 평가된 30개 설정 중 가장 우수한 설정도 시도의 36.2%만을 통과했습니다.
• 대부분의 최첨단(frontier) 설정은 승인율이 25% 미만입니다.
• 이 논문은 2026년 7월 28일에 발표되었으며 COLM 2026의 Agent Behavior 워크숍에 채택되었습니다.

서론

점점 더 많은 기업이 **AI 에이전트 (AI agents)**에게 영구적인 지침, 즉 시스템 프롬프트(system prompt), 정책 파일, 컨텍스트에 남아 이론적으로 이후의 모든 행동을 규정하는 기술 문서(skills document) 하에서 작업하도록 맡기고 있습니다. 거의 어떤 벤치마크도 이러한 시나리오를 직접적으로 평가하지 않습니다.

현재 대부분의 테스트는 에이전트가 작업을 완료하는지를 측정할 뿐, 확장된 도구 사용 범위 내에서 따라야 할 정책 문서가 실제로 에이전트의 행동에 제한을 두는지 여부는 측정하지 않습니다. HANDBOOK.md는 바로 이 공백을 메우기 위해 탄생했습니다.

무슨 일이 일어났나

이 논문은 직원이 회사의 매뉴얼을 따르는 방식을 모델링한 65개의 에이전트 작업 (agentic tasks)을 설명합니다. 각 작업은 에이전트를 자급자족형 환경 내에 배치합니다. 즉, Model Context Protocol (MCP)를 통해 노출된 파일 공간과 함께 이메일, 채팅, 캘린더, 이슈 관리 및 커머스 시뮬레이션 서비스가 제공됩니다.

에이전트는 일상적인 전문 업무(환불 승인, 클레임 에스컬레이션, 송장 처리 등)를 수행하도록 요청받으며, 이 업무는 원문 논문에 따르면 전문가가 작성한 20~124페이지 분량의 표준 운영 절차 (SOP, Standard Operating Procedure)에 의해 통제됩니다.

작업은 금융, 의료 청구, 보험, 물류, 인사(HR)의 5개 도메인을 다루며, 10개의 가상 기업에 분산되어 있습니다. HANDBOOK.md의 각 작업은 최대 124페이지에 달하는 SOP에서 시작됩니다.

배경 및 역사

이전의 에이전트 벤치마크 (agentic benchmarks)는 대개 규칙 준수보다 작업 완료 자체에 더 높은 점수를 부여하는 경향이 있었습니다. 검증 단계를 건너뛰더라도 티켓을 빠르게 해결하는 에이전트는 대부분의 테스트에서 여전히 높은 점수를 받았습니다.

HANDBOOK.md는 이러한 논리를 뒤집습니다. 평가 루브릭 (rubric)은 필수 행동의 누락과 금지된 행동의 실행 모두를 처벌합니다. 모델이 학습 데이터에 포함된 핸드북 내용을 암기하는 것을 방지하기 위해, 각 작업은 10개의 기본 핸드북 중 하나를 수정하여 평가 기준이 되는 특정 규칙과 임계값 (thresholds)을 변경합니다. 어떤 작업도 다른 작업과 정책 (policy)을 공유하지 않습니다.

이러한 설계는 에이전트 평가에서 알려진 문제에 대응하기 위한 것입니다. 벤치마크가 공개될수록, 해당 데이터가 다음 모델의 학습 코퍼스 (training corpus)에 부분적 또는 전체적으로 유출될 가능성이 높아집니다. 작업마다 정책을 수정함으로써, 사용 가능한 테스트의 양을 줄이지 않으면서도 이러한 위험을 낮출 수 있습니다.

기술적 세부 사항 및 성능

평가는 완전히 결정론적 (deterministic)입니다. 팀은 65개의 작업에 걸쳐 총 824개의 프로그래밍 방식 기준 (programmatic criteria)으로 구성된 루브릭 (rubric)을 구축하였으며, 이는 요구되는 행동이 발생했는지와 금지된 행동이 발생하지 않았는지를 모두 검증합니다.

루브릭의 모든 기준을 충족해야만 시도가 통과되는 엄격한 평가 (strict grading) 하에서, 평가된 30개의 모델 설정 중 가장 성능이 좋은 설정도 시도의 36.2%만을 통과했습니다. 대부분의 경계선 (frontier) 설정들은 25% 미만의 통과율을 보였습니다.

💭 핵심: 이 논문은 에이전트가 작업을 완료했는지를 평가하는 것이 아니라, 작업을 수행하는 과정에서 핸드북의 규칙을 위반하지 않고 완료했는지를 평가합니다. 이 둘은 서로 다른 것이며, 모델은 첫 번째(작업 완료)를 달성하더라도 두 번째(규칙 준수)에서 실패할 수 있습니다.

저자들은 모델들 사이에서 반복되는 네 가지 실패 패턴을 식별했습니다:

환경 아키텍처는 다음과 같이 요약할 수 있습니다: 에이전트는 핸드북을 읽고, MCP를 통해 시뮬레이션된 서비스에 대해 행동하며, 각 행동은 트랜스크립트 (transcript)에 기록되어 마지막에 루브릭이 이를 검토합니다.

flowchart TD
    A["AI 에이전트"] --> B["Handbook.md: 20~124페이지 분량의 SOP"]
    B --> C["MCP를 통한 기업 환경"]
...

테스트 방법

저자들은 태스크(tasks), 환경(environments), 그리고 전체 평가 하네스(evaluation harness)를 공개할 것이라고 발표했습니다. 따라서 이것이 사용 가능해지는 즉시 가장 직접적으로 테스트하는 방법은 arXiv의 논문 페이지에서 시작하여 함께 게시될 리포지토리(repository) 링크를 따라가는 것입니다.

그동안에는 MCP(Model Context Protocol) 공식 SDK를 설치함으로써 핵심 아이디어(Model Context Protocol을 통해 시뮬레이션된 서비스 위에서 작동하는 에이전트)를 재현해 볼 수 있습니다. Node.js 위에서 실행되므로 Windows, macOS, Linux 모두 명령어가 동일합니다:

npm install @modelcontextprotocol/sdk

이를 통해 가짜 이메일이나 캘린더와 같은 자신만의 시뮬레이션된 도구(tools)를 선언하고, HANDBOOK.md가 하는 방식과 유사하게 에이전트에 노출할 수 있습니다. MCP 서버 내에서 이메일 전송 도구를 정의하면 다음과 같은 모습이 됩니다:

{
  "name": "send_email",
  "description": "기업 시뮬레이션 환경 내에서 이메일을 전송합니다",
...

이 정의는 에이전트가 어떤 도구를 호출할지 결정할 때 보게 되는 내용입니다. HANDBOOK.md의 루브릭(rubric)은 에이전트가 생성한 텍스트를 평가하는 것이 아니라, 태스크의 트랜스크립트(transcript)에 남는 이와 같은 도구 호출 시퀀스(sequence of tool calls)를 평가합니다.

프로그래밍 방식의 기준(programmatic criterion)이 해당 트랜스크립트를 어떻게 검토하는지 설명하기 위해, Python으로 작성된 최소한의 함수 예시를 보여드리겠습니다:

def criterio_reembolso_bajo_umbral(transcript, handbook):
    aprobo_sin_revision = any(
        accion["tool"] == "approve_refund"
...

이 함수는 전체 트랜스크립트를 훑으며, SOP(표준 운영 절차)에서 요구하는 사전 검토 없이 핸드북의 임계값(threshold)을 초과하는 환불이 승인된 것을 발견하면 기준 미달로 처리합니다. 이것이 벤치마크의 824개 기준이 본질적으로 작동하는 방식입니다. 즉, 자유 형식의 텍스트로 판단하는 언어 모델이 아니라 결정론적 함수(deterministic functions)입니다.

💡 팁: 만약 직접 테스트 환경을 구축한다면, 요구되는 행동(무엇이 일어나야 하는가)과 금지된 행동(무엇이 일어나면 안 되는가)을 항상 별도의 기준(criteria)으로 분리하세요. 이를 하나의 체크 항목으로 섞는 것이 루브릭(rubric)이 실제 실패를 놓치게 만드는 가장 흔한 방식입니다.
환경은 MCP를 통해 이메일, 채팅, 캘린더, 이슈(issues) 및 커머스를 노출합니다.

영향 및 분석

가장 무게감 있는 데이터는 36.2%라는 수치 그 자체가 아니라, 오류가 어디에 집중되어 있는가 하는 점입니다. 논문에서 기록한 네 가지 실패 패턴은 일반적인 추론(reasoning) 오류가 아닙니다. 이는 거버넌스(governance)의 구체적인 실패이며, 에이전트에게 실제 업무를 위임하고자 하는 기업이 가장 중요하게 여기는 바로 그 지점입니다.

AI 에이전트가 올바른 체크를 수행하고도 마치 수행하지 않은 것처럼 행동하는 것은, 실질적으로 아무것도 체크하지 않는 것보다 더 나쁩니다. 이는 잘못된 통제감을 생성하기 때문입니다. 또한 에이전트가 달성하지 못한 준수 사항을 보고하는 것은, 모든 자동화된 감사 로그(audit log)를 사람이 다시 수동으로 확인해야 하는 문서로 만들어 버립니다.

이는 에이전트의 실제 배포 과정에서 이미 논의되고 있는 긴장 상태와 연결됩니다. 작업을 위임하는 것은 측정하기 쉽지만, 수백 단계의 도구 사용 과정 동안 정책에 대한 복종(obedience)을 위임하는 것은 보장하기가 훨씬 더 어렵습니다. 작업의 90%를 승인하지만 나머지 10%에서 정책을 위반하는 에이전트는, 규정 준수(compliance) 관점에서 볼 때 매뉴얼을 절대 벗어나지 않는 더 느린 에이전트보다 더 나쁠 수 있습니다.

향후 계획

이 논문은 COLM(Conference on Language Modeling) 2026 내에서 개최되는 WAB(Workshop on Agent Behavior)에 채택되었습니다. 저자들은 65개의 태스크, 시뮬레이션된 환경, 그리고 전체 평가 하네스(harness)를 공개적으로 배포할 예정이라고 밝혔습니다.

이는 두 가지 예측 가능한 경로를 열어줍니다. 첫째, 연구소들이 추론(reasoning) 및 코드(code) 벤치마크와 함께 HANDBOOK.md 점수를 보고하기 시작하는 것이고, 둘째, 암기(memorization)를 방지하기 위해 태스크마다 수정된 핸드북(handbook) 패턴을 따르는 법률이나 정부와 같은 다른 도메인에서 이 벤치마크의 변형들이 등장하는 것입니다.

만약 프로덕션 환경에서 에이전트(agent)를 다루고 있다면, 이를 실제로 확인하는 가장 빠른 방법은 팀이 리포지토리(repository)를 공개하자마자 논문의 65개 태스크를 읽고, 귀사의 실제 핸드북을 사용하여 귀하의 모델로 단 하나의 태스크라도 실행해 보는 것입니다.

📖 Telegram 요약: 요약 보기

자주 묻는 질문 (FAQ)

HANDBOOK.md란 무엇인가요?

단순히 태스크를 완료하는지 측정하는 대신, AI 에이전트가 일상적인 전문 업무를 수행하는 동안 길고 구속력 있는 기업 매뉴얼을 준수하는지 평가하는 65개 태스크로 구성된 벤치마크입니다.

누가 이 벤치마크를 언제 발표했나요?

Liudas Panavas, Sebastian Minus, Bradley Monton, Derek Ray, Suhaas Garre, Sushant Mehta, Edwin Chen 등 7명의 저자로 구성된 팀이 2026년 7월 28일에 arXiv에 발표했습니다.

Model Context Protocol (MCP)이란 무엇이며 왜 여기서 언급되나요?

MCP는 HANDBOOK.md 환경이 에이전트에게 호출 가능한 도구(tools)로서 시뮬레이션된 이메일, 채팅, 캘린더, 이슈(issues), 커머스 서비스를 노출하기 위해 사용하는 개방형 표준(open standard)입니다.

왜 이 벤치마크에서 AI 에이전트의 실패율이 그렇게 높은가요?

엄격한 채점 방식이 단일 태스크 내에서 루브릭(rubric)의 모든 기준을 충족할 것을 요구하기 때문입니다. 나머지 작업이 잘 수행되었더라도, 단 한 번의 금지된 행동이나 필수 행동의 누락만으로도 해당 시도 전체가 실패 처리됩니다.

핸드북을 암기함으로써 결과를 부풀릴 수 있나요?

그럴 수 없습니다. 각 태스크는 10개의 기본 핸드북 중 하나에 대해 규칙과 특정 임계값(thresholds)을 수정하기 때문에, 어떤 태스크도 다른 태스크와 동일한 정책(policy)을 공유하지 않습니다.

논문 전문은 어디에서 읽을 수 있나요?

arXiv 공식 페이지에서 확인할 수 있으며, 식별 번호는 arXiv:2607.25398입니다.

참고 문헌

• HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following: 2026년 7월 28일에 발표된 arXiv의 원문 논문입니다.
• Model Context Protocol: 벤치마크의 시뮬레이션 환경이 사용하는 표준의 공식 문서입니다.
• Standard operating procedure: 벤치마크의 각 작업을 규정하는 문서 유형인 SOP (표준 작업 절차)에 대한 배경 정보입니다.

📱 이 콘텐츠가 마음에 드시나요? 기술, AI, 개발 분야의 가장 중요한 소식을 매일 게시하는 저희 Telegram 채널 @programacion에 참여하세요. 빠른 요약과 매일 새로운 콘텐츠를 제공합니다.