AI 에이전트를 실제로 어떻게 테스트하시나요? 단순히 "응답을 하는가"가 아니라, 다음과 같은 질문을 던져야 합니다: 올바른 도구로 라우팅(route)하는가, 호출을 올바르게 체이닝(chain)하는가, 실패로부터 복구하는가, 프롬프트 인젝션(prompt injection)에 저항하는가, 그리고 비용/지연 시간(latency) 예산 내에 머무는가?

저는 실제 작동하는 에이전트를 대상으로 몇 주 동안 이 작업을 수행했으며, 전체 방법론을 오픈 소스로 공개했습니다. 이 방법론은 _프레임워크 불가지론적(framework-agnostic)_이므로, 사용 중인 언어, 런타임(runtime) 또는 도구 세트와 관계없이 적용할 수 있습니다.

포함된 내용

•⁠ ⁠_61개 소스 벤치마크 맵 (61-source benchmark map)_ — BFCL, GAIA, τ-bench, SWE-bench, WebArena, AgentDojo, LongMemEval 등을 포함하며, 실제로 측정하는 항목에 따라 분류되었습니다.
•⁠ ⁠_7개 계층(L1–L4, 오류 복구, 멀티 턴, 보안)에 걸친 58개 범용 테스트 블록 (58 universal test blocks)_ — 각 블록은 도구 불가지론적(tool-agnostic) 능력 정의와 구체적인 참조 구현(reference implementation)으로 구성됩니다.
•⁠ ⁠_2026년 에이전트 애플리케이션을 위한 전체 OWASP Top 10 (Full OWASP Top 10 for Agentic Applications 2026)_ (ASI01–ASI10) — 6개의 범용 보안 테스트 블록에 매핑되었습니다.
•⁠ ⁠_평가 방법론 (Evaluation methodology)_ — LLM-as-Judge 편향(biases), pass@k 대 pass^k, 궤적(trajectory) 대 최종 상태(end-state), 관찰 가능성(observability) (OpenTelemetry GenAI), 자동화된 레드팀 활동(automated red-teaming) (garak, PyRIT, DeepTeam)
•⁠ ⁠_규제 정렬 (Regulatory alignment)_ — NIST AI RMF, MITRE ATLAS, EU AI Act, ISO/IEC 42001

사용 방법

Part II를 가져와서 참조 구현(reference-implementation) 필드를 귀하의 에이전트 도구 이름과 예상 출력값으로 교체하십시오. 범용 능력 정의는 변경할 필요가 없습니다. 빈 템플릿이 포함되어 있습니다.

PheronAgent (50개 이상의 네이티브/MCP 도구를 갖춘 macOS 에이전트)가 실제 참조 사례 연구로 포함되어 있지만, 제품은 에이전트가 아니라 이 방법론 자체입니다.

마케팅용 서사는 없습니다: STORY.md 파일에 각 버전을 형성한 실제 버그, 실제 테스트 실행, 그리고 실제 수정 사항들을 기록해 두었습니다.

문서는 CC BY 4.0이며, 템플릿은 MIT 라이선스입니다. 이슈(Issues)와 PR(Pull Requests)을 환영합니다.

👉 https://github.com/trgysvc/AgentTestMethodology