2025년 8월, EY는 21개국 975명의 C-suite 리더들을 대상으로 AI 거버넌스(Governance)에 대해 조사했습니다. 결과는 암울했습니다. 조직의 99%가 지난 한 해 동안 AI 관련 재정적 손실을 보고했으며, 64%는 100만 달러를 초과하는 손실을 보고했습니다. 이는 영향을 받은 기업당 평균 440만 달러에 달합니다. 이 설문조사는 탐지 도구(Detection tools)의 부족을 지적하지 않았습니다. 대신 거버넌스(Governance)의 부족을 지적했습니다.

이 차이는 매우 중요합니다. AI 관측성(Observability) 생태계는 충분한 공급이 이루어지고 있습니다. Arize, LangSmith, Helicone 및 기타 수십 개의 기업들이 정교한 환각(Hallucination) 평가 프레임워크를 구축했습니다. LLM-as-judge 파이프라인, 충실도 점수(Faithfulness scorers), 근거성 지표(Groundedness metrics) 등 도구는 이미 존재하며 그중 상당수는 제대로 작동합니다. 문제는 도구가 아니라 아키텍처(Architectural)에 있습니다. 탐지는 에이전트가 잘못된 출력을 생성했다는 것을 알려줄 뿐, 그 자체로 다음에 어떤 일이 일어날지를 결정하지는 못합니다.

에이전트가 프로덕션 시스템(Production systems)에 연결되어 이메일을 보내고, 기록을 업데이트하며, 워크플로우(Workflows)를 시작할 때, "다음에 어떤 일이 일어나는가"가 유일하게 중요한 질문입니다.

탐지가 너무 늦게 실행되는 이유

프로덕션 AI 시스템에서의 환각 탐지는 거의 예외 없이 사후적(Retrospective)입니다. 에이전트가 추론 체인(Reasoning chain)을 완료하고 출력을 생성하면, 해당 출력은 충실도 점수(Faithfulness scorer), 근거성 확인(Groundedness check), LLM judge와 같은 평가자(Evaluator)에게 전달되어 신뢰도 신호를 나타냅니다. 만약 신호가 임계값(Threshold) 미만이면 경고가 발생하거나 대시보드에 플래그가 표시됩니다.

평가자가 실행될 때쯤이면 에이전트는 이미 행동을 마친 상태입니다. 출력이 직접적으로 다운스트림 도구 호출(Downstream tool calls)을 트리거하는 에이전트 아키텍처(Agentic architectures) — 즉, 캘린더 초대가 발송되거나, 데이터베이스 항목이 기록되거나, API 요청이 전송되는 경우 — 에서 사후 탐지는 예방이 아니라 포렌식(Forensics)에 불과합니다.

이 문제는 규모가 커질수록 심화됩니다. 대부분의 팀은 평가를 위해 프로덕션 트래픽의 1%에서 5% 사이를 샘플링합니다. 환각 (Hallucination)은 롱테일 (Long tail) 영역, 즉 드물게 발생하는 의도 (Intents), 엣지 케이스 엔티티 (Edge-case entities), 그리고 드물게 나타나지만 가장 확신에 찬 잘못된 답변을 유발하는 코너 입력값 (Corner inputs)에 집중되어 있습니다. 샘플링을 한다는 것은 잘못된 트래픽을 평가하고 있음을 거의 보장하는 것과 같습니다.

평가 품질 문제도 존재합니다. LLM-as-judge 파이프라인 — 하나의 모델을 사용하여 다른 모델의 출력을 채점하는 방식 — 은 이미 문서화된 실패 모드 (Failure modes)를 가지고 있습니다. 이들은 평가 대상 모델과 편향 (Biases)을 공유하며, 사실적 정확도 (Factual accuracy)보다는 출력 길이에 상관관계를 보이고, 다양한 작업 유형에 걸쳐 일관되게 동작하기 위해서는 상당한 캘리브레이션 (Calibration)이 필요합니다. 파이프라인은 중립적이지 않습니다. 이 시리즈의 이전 포스트에서는 왜 LLM-as-judge가 프로덕션에서 실패하는지를 자세히 다루었으며, 이러한 실패 모드들은 사라지지 않았습니다.

결과적인 효과는 다음과 같습니다: 탐지 시스템은 신호 (Signals)를 생성합니다. 하지만 이러한 신호는 관련 작업이 이미 다운스트림 (Downstream)으로 전파된 후에 도착하는 경우가 많습니다. 또한 신호 그 자체도 신중한 해석을 필요로 합니다.

이것이 탐지가 쓸모없다는 뜻은 아닙니다. 탐지는 필요하지만, 환각으로 인한 실패로부터 프로덕션 시스템을 보호하기에는 충분하지 않다는 것을 의미합니다.

누락된 계층: 폴백 강제 (Fallback Enforcement)

대부분의 팀이 구축하지 못한 부분은 폴백 강제 (Fallback enforcement) 계층입니다. 이는 출력이 품질 검사를 통과하지 못했을 때 이를 가로채어, 실행하려던 다운스트림 작업이 아닌 다른 곳으로 라우팅하는 메커니즘입니다.

프로덕션 환경에서 유효한 세 가지 폴백 패턴이 있습니다:

중단 및 에스컬레이션 (Halt and escalate). 출력이 정의된 품질 임계값 — 사실성 점수 (Factuality score), 근거성 점수 (Groundedness score), 신뢰 백분위수 (Confidence percentile) — 미만으로 떨어지면, 실행을 중단하고 다운스트림 작업이 발생하기 전에 해당 케이스를 인간 검토자에게 라우팅합니다. 이는 오작동의 비용이 지연의 비용보다 현저히 높은 고위험 워크플로우 (High-stakes workflows)에 적합한, 오버헤드가 가장 높은 패턴입니다.

주의 사항을 포함한 우아한 성능 저하 (Graceful degradation with caveat). 출력물은 전달되지만 플래그(flag)가 지정됩니다. 즉, 가용한 컨텍스트(context)를 통해 검증할 수 없었거나 신뢰도(confidence)가 임계값(threshold) 미만임을 나타내는 명시적인 문구가 포함됩니다. 이 방식은 응답 지연이 불확실한 응답보다 더 나쁜 경우, 그리고 최종 사용자가 해당 정보를 바탕으로 어떻게 행동할지 결정할 수 있는 고객 대면 애플리케이션 (customer-facing applications)에서 효과적입니다.

더 보수적인 경로로 재라우팅 (Reroute to a more conservative path). 에이전트를 더 단순하고 제약이 많은 작업 버전으로 재지정합니다. 즉, 범위는 더 좁고, 도구 호출 (tool calls)은 더 적으며, 합성 (synthesis) 없이 검색 전용 (retrieval-only) 경로를 사용하는 방식입니다. 이는 환각 (hallucination)이 발생할 가능성은 낮으면서도 여전히 유용한 출력을 생성합니다.

이 세 가지 패턴이 공유하는 공통점은 런타임 의존성 (runtime dependency)입니다. 즉, 출력이 의도된 다운스트림 (downstream) 목적지에 도달하기 전에 이를 가로채고, 정책 (policy)에 따라 평가하며, 그 결과에 따라 다른 코드 경로를 실행할 수 있는 능력이 필요합니다. 이것은 평가 파이프라인 (evaluation pipeline)이 아닙니다. 이것은 정책 엔진 (policy engine)입니다.

이러한 차이점이 바로 대부분의 관측성 (observability) 도구가 제공하지 못하는 부분입니다. 평가는 신호 (signals)를 드러낼 뿐입니다. 정책 엔진은 그 신호에 따라 행동합니다.

관측성 생태계의 아키텍처 격차 (The Architectural Gap in the Observability Ecosystem)

주요 관측성 플랫폼인 Arize, LangSmith, Langfuse는 주로 사후 평가 (post-hoc evaluation)를 중심으로 구축되었습니다. 이들은 "내 에이전트가 무엇을 했으며, 그것이 옳았는가?"라는 질문에 답하는 데 매우 탁월합니다. 하지만 그 질문에 대한 답이 "아니오"일 때 어떤 일이 일어나야 하는지를 강제하도록 설계되지는 않았습니다.

이는 일관된 제품 선택입니다. 평가 (evaluation)와 강제 (enforcement)는 서로 다른 지연 시간 (latency) 요구 사항을 가진 별개의 문제입니다. LLM-as-judge 평가 방식은 수백 밀리초 (milliseconds)를 추가할 수 있습니다. 반면 프로덕션 트래픽을 가로채는 강제 계층 (enforcement layer)은 거의 아무런 지연도 추가해서는 안 됩니다. 의미 있는 수준의 지연 페널티가 발생한다면 실시간 애플리케이션을 위한 아키텍처로서의 가치를 상실하기 때문입니다.

이러한 공학적 결과로 인해 팀들은 보통 강제 실행 (enforcement) 기능을 수동으로 구축하거나, 아예 구축하지 못하는 경우가 많습니다. 모니터링 대시보드에서 평가 점수를 읽어와 애플리케이션 계층 (application layer)에 조건부 로직을 연결하려고 시도하는 맞춤형 스크립트(bespoke script)를 만드는 식입니다. 이는 취약하고, 감사 (audit)하기 어려우며, 원래의 평가 설계 뒤에 숨겨진 거버넌스 의도 (governance intent)와도 단절되어 있습니다.

Waxell이 이를 처리하는 방식

Waxell Observe는 프레임워크 레벨에서 에이전트 실행을 계측 (instrument)합니다. 단 2줄의 코드로 200개 이상의 라이브러리가 자동 계측되며, 출력 검증 정책 (output validation policies)을 네이티브 런타임 제어 (runtime control)로 노출합니다. Waxell의 품질 정책에는 50개 이상의 정책 카테고리에 걸친 출력 모니터링이 포함되며, 실행과 동시에 발생하는 강제 실행 동작 (enforcement actions)을 제공합니다: 중단 (halt), 에스컬레이션 (escalate), 인간 참여형 (human-in-the-loop)으로 라우팅, 또는 주의 사항과 함께 로그 기록 (log with caveat).

강제 실행은 p95 지연 시간(latency) 기준 0.045ms로 실행됩니다. 이는 에이전트 응답에 인지 가능한 지연을 추가하지 않고도 프로덕션 트래픽을 가로챌 수 있을 만큼 충분히 빠릅니다. 출력 모니터링 (output monitoring) 인터페이스는 실행되는 모든 평가에 대해 전체 추적 가시성 (full trace visibility)을 제공하므로, 팀은 에이전트가 무엇을 생성했는지뿐만 아니라 어떤 거버넌스 결정이 내려졌고 그 이유가 무엇인지까지 감사할 수 있습니다.

환각이 발생한 출력이 되돌릴 수 없는 후속 작업(금융 거래, 의료 문서화, 인프라 변경 등)을 유발할 수 있는 고위험 워크플로(high-stakes workflows)의 경우, Waxell Runtime은 각 단계가 실행된 후가 아니라 실행되기 전에 정책 강제를 적용합니다. 거버넌스는 실행 환경 위에 사후에 덧붙여지는 것이 아니라 실행 환경 자체에 네이티브하게 내장되어 있습니다. 모든 결정은 체크포인트로 기록되며, 모든 워크플로는 실행 상태를 잃지 않고도 어느 시점에서나 인간의 검토를 위해 일시 중지될 수 있습니다.

실질적인 효과는 다음과 같습니다. Waxell이 제어하는 환경 내의 에이전트가 품질 정책 (quality policy)을 통과하지 못하는 출력을 생성할 경우, 해당 출력은 다운스트림 액션 (downstream action)으로 전달되지 않습니다. 대신 정책이 지정하는 폴백 동작 (fallback behavior)으로 라우팅됩니다. 탐지 (detection)와 강제 (enforcement)는 수동 통합이 필요한 두 개의 별도 파이프라인이 아니라, 동일한 시스템 내에서 이루어집니다.

RAG 아키텍처를 구축하는 팀은 또한 Waxell의 테스트 환경을 사용하여 프로덕션에 배포하기 전, 특정 문서 코퍼스 (document corpus)를 기준으로 출력 품질을 평가할 수 있습니다. 이를 통해 실제 트래픽에서 오류를 발견하는 대신, 통제된 조건 하에서 실패 모드 (failure modes)를 포착할 수 있습니다.

FAQ

환각 탐지 (hallucination detection)와 환각 거버넌스 (hallucination governance)의 차이점은 무엇인가요?
탐지는 에이전트가 잘못된 출력을 생성했음을 식별합니다. 거버넌스는 그 다음에 어떤 일이 일어날지를 결정합니다. 즉, 출력을 차단할지, 경로를 재설정할지, 에스컬레이션 (escalated)할지, 아니면 주의 사항과 함께 전달할지를 결정합니다. 대부분의 관측성 (observability) 도구는 탐지 기능을 제공합니다. 거버넌스는 출력이 다운스트림 목적지에 도달하기 전, 런타임 (runtime)에 탐지된 신호에 따라 조치를 취할 수 있는 정책 엔진 (policy engine)을 필요로 합니다.

사후 탐지가 에이전트 시스템에서 왜 위험을 초래하나요?
전통적인 소프트웨어와 달리, 에이전트 시스템은 행동을 취합니다. 데이터베이스에 기록하고, 메시지를 보내며, 워크플로 (workflows)를 트리거합니다. 만약 액션이 취해진 후에 탐지가 발생한다면, 피해는 이미 발생한 후입니다. 강제 (enforcement)의 골든 타임은 출력 생성과 다운스트림 액션 전파 사이의 시간이며, 빠르게 움직이는 에이전트 파이프라인에서는 이 시간이 밀리초 (milliseconds) 단위일 수 있습니다.

LLM-as-judge 평가 방식이 폴백 강제 실행 아키텍처 (fallback enforcement architecture)에 어떻게 부합하나요?
LLM-as-judge는 폴백 정책 (fallback policy)을 트리거할 수 있는 여러 신호 중 하나입니다. 이는 의미론적 품질 평가 (semantic quality assessment)에는 유용하지만, 대규모 환경에서는 이미 알려진 실패 모드 (failure modes)가 존재합니다. 견고한 강제 실행 아키텍처는 단일 평가자를 권위 있는 것으로 취급하는 대신, 근거성 점수 (groundedness scores), 신뢰도 백분위수 (confidence percentiles), 검색 충실도 (retrieval faithfulness)와 같은 다양한 유형의 신호를 결합하고 이들에 정책 로직을 적용합니다.

기업 팀은 프로덕션 환경에서 어느 정도의 환각률 (hallucination rate)을 목표로 해야 하나요?
목표치는 작업에 따라 다릅니다. 일반적인 지식 질의를 수행하는 기업용 챗봇은 통제되지 않은 환경에서 약 18%의 환각률을 보고합니다. 동일한 환경에서 RAG (Retrieval-Augmented Generation)로 제어되는 시스템은 이를 3~8%로 낮춥니다. 법률, 의료, 금융 분야와 같이 이해관계가 큰 (high-stakes) 애플리케이션은 일반적으로 1% 미만의 환각률을 요구하며, 이는 검색 거버넌스 (retrieval governance), 출력 검증 정책 (output validation policies), 그리고 예외 케이스에 대한 인간 참여형 에스컬레이션 (human-in-the-loop escalation)을 통해서만 달성 가능합니다.

강제 실행 계층 (enforcement layer)을 추가하면 에이전트의 속도가 현저히 느려지나요?
Waxell의 거버넌스 평가 p95 지연 시간 (latency)인 0.045ms를 기준으로 볼 때, 그렇지 않습니다. 지연 시간 페널티는 실시간 애플리케이션에서 인지할 수 없는 수준입니다. 실행 비용은 인간 에스컬레이션 경로 (human escalation paths)에서 발생합니다. 즉, 중단 후 에스컬레이션 (halt-and-escalate) 워크플로우는 컴퓨팅 시간이 아닌 인간의 검토 시간을 추가합니다. 팀들은 일반적으로 품질 임계값 (quality thresholds)을 통과하지 못한 트래픽만 에스컬레이션 경로로 라우팅하므로, 중앙값 지연 시간 (median latency) 프로필은 변하지 않은 채 유지됩니다.

이러한 폴백 패턴이 도구 호출 (tool calls)을 광범위하게 사용하는 에이전트에도 적용될 수 있나요?
네, 하지만 강제 실행 지점 (enforcement point)이 이동합니다. 도구 호출이 많은 에이전트의 경우, 가장 중요한 차단 지점은 환각된 전제에 기반하여 도구를 호출하기로 결정하는 순간입니다. 예를 들어, 에이전트가 조작된 엔티티 이름으로 데이터베이스를 쿼리하는 경우입니다. Waxell Runtime과 같은 실행 전 정책 강제 실행 (pre-execution policy enforcement)은 응답을 받은 후가 아니라, 도구 호출이 발송되기 전에 도구 호출 의도 (tool-call intent)를 확인합니다.

출처

출처

1. EY 2025 Responsible AI Pulse Survey (2025년 8월–9월, 975명의 C-suite 리더, 21개국) — EY Global Newsroom
2. AI Hallucination Rates and Benchmarks 2026 — Suprmind AI
3. Arize Phoenix Hallucination Evaluator — Arize Documentation
4. LibreEval: Open-Source RAG Hallucination Benchmark — Arize AI
5. HN 토론: "Ask HN: 프로덕션 시스템에서 LLM 환각을 어떻게 방지하고 있나요?" — Hacker News