AI 에이전트 출력 품질: 왜 20단계에서 신뢰도가 90%에서 12%로 떨어지는가

20단계 워크플로우(workflow)를 실행하는 90% 신뢰도의 에이전트는 8번 중 한 번도 채 되지 않는 확률로 완전히 정확한 결과를 생성합니다. 이것은 모델의 문제가 아닙니다. 이는 복리(compounding)의 문제입니다. 그리고 이것이 현재 세대의 AI 에이전트 출력 품질 도구들이 방정식의 잘못된 절반을 해결하고 있는 이유입니다.

에이전트 시스템(agentic system)에서의 출력 품질은 챗봇(chatbot)에서의 출력 품질과 동일한 문제가 아닙니다. LLM이 단발성 질문(one-shot question)에 틀린 답을 내놓으면, 사용자는 이를 보고 눈을 굴리며 다시 질문합니다. 하지만 에이전트가 20단계 워크플로우 중 3단계에서 틀린 답을 내놓고 — 그 답이 4단계의 입력값이 된다면 — 오류는 전파되고 증폭되며, 대개 비용이 많이 드는 일이 이미 발생한 후에야 눈에 띄게 됩니다. 2026년 1월부터 5월 사이, 73건의 실제 운영 에이전트 사고를 조사한 분석가들에 따르면 실패는 거의 혼자 발생하지 않았습니다. 다층 사고(multi-layer incidents)의 61%에서 상류(upstream)의 검색(retrieval) 실패가 도구 호출(tool-call) 계층을 잘못되게 만든 근본 원인이었으며, 발생 계층은 내내 완전히 정상적인 상태로 보였습니다.

AI 에이전트 출력 품질을 탐지(detection) 문제로 취급하는 대부분의 팀은 잘못된 문제를 해결하고 있습니다. 탐지는 무엇이 잘못되었는지를 알려줄 뿐입니다. 그것은 하류(downstream)의 피해를 방지하지 못합니다. 아키텍처(architecture) 관점에서의 질문은 "어떻게 나쁜 출력을 찾아낼 것인가?"가 아닙니다. "어떻게 나쁜 출력이 나쁜 행동으로 이어지는 것을 방지할 것인가?"입니다.

복리 신뢰도 문제 (The Compounding Confidence Problem)

대부분의 출력 품질 프레임워크가 무시하는 수학은 기초 확률론입니다.

만약 에이전트가 각 단계를 90%의 신뢰도로 생성한다면 — 2026년 벤치마크에서 37개 모델의 환각(hallucination) 비율이 여전히 15%에서 52% 사이임을 고려할 때, 대부분의 운영 시스템에 있어 이는 관대한 가정입니다 — 20단계 파이프라인(pipeline)의 엔드 투 엔드(end-to-end) 신뢰도는 0.9^20이 됩니다. 이는 대략 12%입니다.

단순하게 말하자면: 20단계 워크플로우를 실행하는 90% 정확도의 에이전트는 8번 중 한 번도 채 되지 않는 확률로 완전히 정확한 결과를 생성합니다.

단계별 90%라는 수치는 더 깊은 문제를 은폐할 수 있습니다. LLM은 자신이 언제 틀렸는지 알지 못합니다. 2026년 LLM 보정 (Calibration) 연구에 따르면, 언어화된 신뢰도 점수 (Verbalized confidence scores)는 토큰 수준의 확률 (Token-level probabilities) 및 실제 정확도 (Actual accuracy) 모두와 상당히 괴리되어 있습니다. LLM은 진정한 불확실성을 표현하기보다는 인간의 회피 패턴 (Hedging patterns)을 모방하며 과잉 확신 (Overconfidence)하는 경향이 있습니다. 사실 관계에 대해 "95% 확신합니다"라고 말하는 모델이 "제 생각에는"이라고 말하는 모델과 동일한 비율로 틀릴 수 있습니다.

이것은 모델 품질의 문제가 아닙니다. 구조적인 문제입니다. 그리고 현재 세대의 출력 품질 도구들 — 평가 프레임워크 (Eval frameworks), LLM-as-judge, 환각 대시보드 (Hallucination dashboards) — 는 출력이 중간 단계가 아닌 최종 결과물인 비-에이전트적 (Non-agentic) 시스템을 위해 주로 설계되었습니다.

평가 프레임워크가 에이전트 사례를 놓치는 이유

오늘날 LLM 출력 품질에 대한 주요 접근 방식 — Braintrust와 같은 평가 플랫폼, Arize의 LLM-as-judge 템플릿, 그리고 다양한 환각 탐지 도구들 — 은 근본적으로 사후 분석적 (Retrospective)입니다. 에이전트를 실행하고, 트레이스 (Traces)를 수집하고, 출력을 점수화하며, 다음 릴리스 사이클을 위한 실패 모드 (Failure modes)를 식별하는 방식입니다.

이는 시간이 지남에 따라 모델과 프롬프트를 개선하기 위한 올바른 규율입니다. 하지만 실행 중인 에이전트가 지금 당장 잘못된 출력에 따라 행동하는 것을 방지하기에는 충분하지 않습니다.

다단계 에이전트 맥락에서 "출력 품질"이 실제로 무엇을 의미하는지 생각해 보십시오. 티켓의 심각도를 잘못 분류하는 고객 지원 에이전트는 단순히 틀린 답을 내놓는 것이 아닙니다. 잘못된 티켓을 에스컬레이션(Escalate)하고, 이것이 잘못된 큐(Queue)로 라우팅되며, 잘못된 팀이 이를 처리하게 되어, 결국 SLA(Service Level Agreement)를 놓치게 만듭니다. 어떤 평가 도구가 이를 잡아낼 때쯤이면, 이미 세 개의 하위 시스템 (Downstream systems)이 잘못된 상태가 되어 있습니다.

평가 전용 접근 방식(evaluation-only approach) 또한 구조적인 사각지대를 가지고 있습니다. 즉, 품질을 행동(action) 수준이 아닌 출력(output) 수준에서 측정한다는 점입니다. 에이전트는 구문론적으로 유효하고(syntactically valid), 유창하며, 의미론적으로 일관된(semantically coherent) 응답을 생성할 수 있습니다. 이는 어떤 LLM-as-judge 루브릭(rubric)에서도 높은 점수를 받을 수 있는 응답이지만, 제약 조건을 오해했거나, 두 개의 데이터 레코드를 혼동했거나, 프롬프트에서 명시되지 않은 암묵적인 가정(implicit assumption)을 내렸기 때문에 여전히 잘못된 행동을 취할 수 있습니다.

2026년 초 73건의 실제 운영 에이전트 사고를 조사한 분석가들에 따르면, 도구 호출 실패(Tool-call failures)는 다층적 사고(multi-layer incidents)의 61%에서 상위 단계(upstream)에서 발생합니다. 잘못된 출력은 항상 LLM의 텍스트에 나타나는 것은 아닙니다. 그것은 에이전트가 무엇을 호출하기로 선택했는지, 그리고 어떤 인자(arguments)를 사용했는지에 내재되어 있습니다.

출력 품질 강제(Output Quality Enforcement)의 실제 모습

여기서 주목해야 할 차이점은 출력 측정(output measurement)과 출력 거버넌스(output governance) 사이의 구분입니다.

출력 측정은 점수를 생성합니다. 환각 탐지기(hallucination detector)가 작동합니다. LLM-as-judge가 0.72라고 말합니다. 신뢰도 조사(confidence probe)가 불확실성을 표시합니다. 이러한 신호들은 가치가 있지만, 대응(response)이 없는 신호는 그저 로그 기록(log entry)에 불과합니다.

출력 거버넌스는 해당 신호가 실행에 관한 결정과 연결됨을 의미합니다. 품질 검사(quality check)가 실패했을 때, 에이전트는 조용히 계속 진행하는 대신 일시 중지하거나, 에스컬레이션(escalate)하거나, 또는 중단합니다.

거버넌스 계층의 출력 검증 정책(Output validation policies)은 이를 실제로 강제합니다. "만약 응답 신뢰도가 임계값 X 미만이라면, 진행하기 전에 인간의 승인(human sign-off)을 요구한다"라고 명시된 정책은, 사후에 에이전트 응답의 상당수가 해당 임계값 미만이었다고 알려주는 대시보드와는 차원이 다른 통제 방식입니다.

이 차이는 구조적입니다. 평가 플랫폼은 무슨 일이 일어났는지를 관찰합니다. 거버넌스 계층은 다음에 무슨 일이 일어날지를 결정합니다.

이러한 아키텍처 분리는 두 번째 이유로 중요합니다. 규제되는 환경, 예를 들어 MiFID II에 따른 금융 워크플로우, HIPAA에 따른 의료 자동화, GDPR에 따른 문서 처리의 경우, 단순히 잘못된 출력을 감지하는 것만으로는 충분하지 않습니다. 감사 요건은 잘못된 출력이 규제된 조치를 발생시키기 전에 포착되었음을 입증하는 것입니다. '이 응답은 우리의 심판(judge)에 의해 0.52로 평가되었다'고 기록된 로그 항목은 '이 응답이 에스컬레이션 정책을 발동시켰으며 검토 전에 조치되지 않았다'는 것과 같은 규정 준수 아티팩트가 아닙니다.

다단계 에이전트를 위한 실질적인 출력 품질 게이트(Practical Output Quality Gates for Multi-Step Agents)

엔지니어링 관점의 질문은 실제 프로덕션 에이전트의 각 계층에서 어떤 출력 품질 제어가 실제로 어떻게 보이는가입니다.

**입력 경계(input boundary)**에서는 LLM이 데이터를 보기 전에 스키마 및 제약 조건 검증이 관련 확인 사항입니다. 잘못된 레코드를 처리하는 에이전트는 전제가 틀렸기 때문에 근본적으로 잘못되었지만 완벽하게 일관성 있는 응답을 생성할 수 있습니다. 모델 호출 전에 스키마를 강제하는 것이 파이프라인에서 가장 저렴한 품질 게이트입니다.

출력 경계(output boundary), 즉 모델이 생성하는 응답에서는 할루시네이션 탐지(근거 기반 컨텍스트 대비, RAG 지원 에이전트의 경우), 응답 스키마 검증, 콘텐츠 정책 평가가 관련 확인 사항입니다. 이들은 비동기 평가 파이프라인에서가 아니라 동기적으로 발생해야 합니다. 만약 확인에 실패하면, 에이전트는 진행해서는 안 됩니다.

액션 경계(action boundary), 즉 도구 호출에서는 의도된 액션이 에이전트가 검색한 정보로 수행할 수 있도록 승인된 것과 일치하는지 여부가 관련 확인 사항입니다. 액션 수준에서의 범위 강제(Scope enforcement)는 어떤 LLM-as-judge도 감지할 수 없는 종류의 품질 실패를 포착합니다. 즉, 사실적으로 정확하지만 그럼에도 불구하고 무단 조치를 유발하는 응답입니다.

이 세 가지 계층을 각각 별도의 커스텀 체크(custom check)로 구현하는 대신, 하나의 단일 정책 표면(policy surface)으로 연결하는 것이 대부분의 팀이 여전히 해결하지 못한 엔지니어링 과제입니다. 각 계층에 대한 커스텀 검증 로직(custom validation logic)은 서로 어긋나거나 독립적으로 고장 날 수 있고, 공통의 감사 추적(audit trail)을 공유하지 않는 세 개의 독립적인 시스템을 만들어냅니다.

품질 체크가 전체 실행 체인(execution chain)에 걸쳐 읽을 수 있는 구조화된 정책 평가 기록(structured policy evaluation records)을 생성할 때, 출력 모니터링 (output monitoring) 문제는 해결 가능한 영역이 됩니다.

Waxell이 이를 처리하는 방식

Waxell Observe는 단 2줄의 코드와 50개 이상의 정책 카테고리 (50+ policy categories)를 통해 세 가지 경계 모두에서 출력 품질 강제(output quality enforcement)를 측정합니다. 정책 엔진은 별도의 평가 파이프라인(eval pipeline)이 아닌 실행 중에 동기적으로 작동하므로, 품질 정책 위반 시 다운스트림(downstream) 작업이 실행되기 전에 에이전트의 행동을 중단하거나 재지정할 수 있습니다.

출력 품질 실패의 리스크가 큰 다단계 워크플로우(multi-step workflows)의 경우, Waxell Runtime은 모든 단계에 실행 전 정책 게이트(pre-execution policy gates)를 추가합니다. 단계가 시작되기 전, 거버넌스 계층(governance layer)은 현재의 런타임 상태(runtime state)가 진행에 필요한 조건을 충족하는지 확인합니다. 만약 이전 단계의 출력이 품질 임계값(quality threshold)을 통과하지 못해 Observe에 의해 플래그(flagged)가 지정되었다면, Runtime은 다음 단계를 차단하거나, 사람의 검토(human review)로 경로를 변경하거나, 오류를 전파하는 대신 우아한 체크포인트 및 재개(graceful checkpoint-and-resume)를 트리거할 수 있습니다.

Waxell은 에이전트를 재구축할 필요 없이 200개 이상의 라이브러리를 측정하며, 정책 평가 표면(policy evaluation surface)은 환각 탐지(hallucination detection), 응답 스키마 검증(response schema validation), 콘텐츠 정책 강제(content policy enforcement), 도구 호출 범위 체크(tool-call scope checks), 출력당 비용 제한(cost-per-output limits) 등 전체 출력 품질 스택을 아우릅니다. 모든 정책 평가는 입력값, 모델 출력, 실행된 정책, 실행 결정과 같은 전체 추적 컨텍스트(full trace context)와 함께 로그로 기록되므로, 감사 기록(audit record)은 단순히 관찰된 내용뿐만 아니라 무엇이 거버넌스(governed)되었는지를 반영합니다.

0.045ms의 p95 지연 시간(latency)은 사용자 경험을 저하시키지 않으면서 출력 품질 게이트(output quality gates)가 인밴드(in-band) 방식으로 작동함을 의미합니다.

핵심적인 차별점은 이것입니다: 목표는 에이전트가 때때로 잘못된 출력을 생성한다는 사실을 아는 것이 아닙니다. 프로덕션 환경에서 몇 주 이상 운영해 본 팀이라면 이미 그 사실을 알고 있습니다. 목표는 잘못된 출력이 잘못된 행동(bad actions)으로 이어지지 않는 시스템을 구축하는 것이며, 감사인(auditor), 규제 기관(regulator) 또는 사후 분석(post-mortem) 과정에서 거버넌스(governance)가 제대로 작동하고 있었음을 증명할 수 있는 시스템을 만드는 것입니다.

FAQ

AI 에이전트 출력 품질이란 무엇이며, 왜 LLM 출력 품질과 다른가요?
에이전트 방식이 아닌 LLM 상호작용에서 출력 품질은 단일 쿼리에 대한 모델 응답의 정확성(accuracy), 관련성(relevance), 일관성(coherence)을 의미합니다. 에이전트 시스템에서 출력 품질은 이 모든 것을 포함할 뿐만 아니라, 에이전트의 출력이 에이전트에게 권한이 부여된 작업 범위의 제약 조건과 일치하는지, 응답이 현재 실행 컨텍스트(execution context)에서 실행하기에 안전한지, 그리고 단일 단계가 아닌 다단계 시퀀스(multi-step sequence) 전체에서 품질이 유지되는지까지 다룹니다. 3단계 하위 작업(sub-task)에 대해 올바른 응답을 생성하더라도, 에이전트가 자신의 범위를 오해했다면 여전히 해로운 행동을 초래할 수 있습니다.

왜 환각 탐지(hallucination detection) 도구들은 에이전트의 실패를 놓치나요?
대부분의 환각 탐지 도구는 모델의 출력이 검색된 컨텍스트(retrieved context)에 근거하고 있는지(grounded)를 확인하며, 이는 RAG 시스템에 유용한 신호입니다. 에이전트의 실패는 전통적인 의미의 환각처럼 보이지 않는 경우가 많습니다. 모델은 검색된 데이터와 비교했을 때 사실적으로 정확하고 유창하며 일관된 응답을 생성할 수 있지만, 그 응답이 다른 검색 데이터, 이전 단계의 출력, 또는 모델이 권한 범위(authorization scope)에 대해 내린 암묵적인 가정과 결합될 때 잘못될 수 있습니다. 이러한 실패 모드(failure mode)는 사실 관계의 문제가 아니라 구조적인 문제입니다.

프로덕션 에이전트(production agents)를 위한 적절한 출력 품질 임계값(threshold)은 무엇인가요?
보편적인 임계값은 존재하지 않습니다. 이는 워크플로(workflow)의 리스크 프로필(risk profile)과 오류로 인한 다운스트림 결과(downstream consequences)에 따라 달라집니다. 합리적인 시작점은 운영 규모와 각 오류의 비용을 고려했을 때, 5%의 오류율이 어떤 결과를 초래하는지 질문하는 것입니다. 잘못된 출력이 커뮤니케이션이나 데이터 쓰기(data write)로 이어지는 워크플로의 경우, 임계값은 수정 조치(corrective action)의 비용에 맞춰 조정되어야 합니다. 규제 준수(regulatory compliance) 대상인 워크플로의 경우, 관련 임계값은 품질 점수가 아닐 수도 있습니다. 즉, 특정 출력 유형은 실행 전 항상 검토를 거쳐야 한다는 범주형 정책(categorical policy)이 될 수 있습니다.

평가 프레임워크(eval framework)와 거버넌스 레이어(governance layer)의 차이점은 무엇인가요?
평가 프레임워크(eval framework)는 측정 도구입니다. 이는 출력을 점수화하고, 실패 모드(failure mode)를 식별하며, 릴리스 사이클(release cycles) 동안 모델이나 프롬프트(prompt) 개선에 정보를 제공합니다. 거버넌스 레이어(governance layer)는 집행 도구입니다. 이는 실행 중에 에이전트의 출력이 실행하기에 안전한지 여부에 대해 실시간 결정을 내립니다. 이 둘은 경쟁 관계가 아니라 상호 보완적입니다. 평가 프레임워크는 시간이 지남에 따라 품질을 개선하고, 거버넌스 레이어는 지금 당장 정책을 집행합니다.

출력 품질 강제(output quality enforcement)는 인간 참여형(human-in-the-loop) 워크플로와 어떻게 상호작용하나요?
출력 품질 정책은 에이전트 시스템에서 인간에게 에스컬레이션(escalation)을 요청하는 가장 명확한 트리거(trigger) 중 하나입니다. 에이전트의 생산성 목적을 저해하는 모든 작업에 대해 인간의 검토를 요구하는 대신, 팀은 출력 품질 체크가 실패하거나 임계값 미만으로 떨어질 때만 에스컬레이션이 발생하도록 구성할 수 있습니다. 이를 통해 모든 것을 검토하는 대신, 가장 위험도가 높은 출력을 포착하는 작고 타겟팅된 검토 큐(review queue)를 생성할 수 있습니다. 거버넌스 레이어가 에스컬레이션을 생성하면, 인간이 오버라이드(override)를 제공합니다.