AI 에이전트 환각(Hallucination) 탐지: 제로샷(Zero-Shot) 방법론

레이블이 지정된 데이터 없이 AI 에이전트의 환각(Hallucination)을 탐지하세요. 제로샷(Zero-shot) LSC 탐지, 주장 분해(Claim decomposition), 그리고 실시간 가드레일(Guardrails)을 소개합니다. Python 코드가 포함되어 있습니다.

당신의 AI 에이전트는 확신에 찬 답변을 내놓습니다. 하지만 그중 절반은 꾸며낸 이야기입니다. 표준 지표들은 모든 것이 정상이라고 말합니다.

이것이 바로 '조용한 실패(Silent failure)' 문제입니다. 에이전트가 사실을 환각하고, 안전하지 않은 행동으로 표류(Drift)하면서도, 이진(Binary) 통과/실패 테스트는 통과해 버리는 현상입니다. 연구에 따르면 이진 지표는 안전성 문제의 65~93%를 놓칩니다 (AgentDrift, 2026년 3월). 단순히 마지막에만 확인하는 것이 아니라, 실행 중에 작동하는 탐지 기술이 필요합니다.

학습 내용

• 제로샷 환각 탐지 (Zero-shot hallucination detection) — LSC 및 Spilled Energy 지표를 사용하여 레이블이 지정된 학습 데이터 없이 꾸며낸 사실을 포착합니다.
• 궤적 수준의 안전성 모니터링 (Trajectory-level safety monitoring) — 이진 지표가 놓치는 대화 턴(Turn) 전반에 걸친 행동 표류(Behavioral drift)를 탐지합니다.
• 실시간 가드레일 (Real-time guardrails) — Strands 라이프사이클 훅(Lifecycle hooks)을 사용하여 안전하지 않은 출력이 사용자에게 도달하기 전에 차단합니다.

🔗 GitHub에서 모든 코드 예제 보기

AI 에이전트의 환각을 어떻게 탐지하나요?

환각 탐지(Hallucination detection)는 에이전트가 소스 컨텍스트(Source context)에 없는 정보를 꾸며내는지 측정합니다. 제로샷 탐지(Zero-shot detection)는 레이블 데이터가 필요하지 않으며, 모델의 내부 상태를 비교하거나 주장 분해(Claim decomposition)를 수행하는 학습이 필요 없는 지표를 사용합니다.

전통적인 평가는 잘못된 출력이 명백하다고 가정합니다. 하지만 그렇지 않습니다. 컨텍스트에는 2021년이라고 되어 있음에도 에이전트가 확신에 차서 "회사는 2019년에 설립되었습니다"라고 말할 수 있습니다. 이진 정확성 체크(Binary correctness checks)는 이를 놓칩니다. 이 방식은 완전한 작업 실패만을 표시하기 때문입니다.

세 가지 탐지 접근 방식

접근 방식	사용 시점	지연 시간 (Latency)	정확도 (Accuracy)
LSC (Linear Semantic Consistency)	에이전트 실행 후 배치 평가 (Batch evaluation)	낮음 (단일 순전파/Single forward pass)	84.6% AUROC
...

코드 예제: Strands를 이용한 제로샷 환각 탐지

이 예제는 충실도 루브릭 (faithfulness rubric)을 사용하여 Strands의 OutputEvaluator를 사용합니다. 판사 (judge)는 에이전트의 응답이 제공된 문맥 (context)에 근거하고 있는지 확인합니다.

from strands.agent import Agent
from strands.models.bedrock import BedrockModel
from strands_agents_evals.evaluators import OutputEvaluator
...

탐지 내용

루브릭이 잡아내는 환각 (Hallucinated) 주장:

• "Hotel Lumière에는 루프탑 수영장이 있습니다" (문맥에 언급되지 않음)
• "두 호텔 모두 별점 5점입니다" (문맥에는 4.5점과 4.2점으로 명시됨)
• "Maison Belle는 라틴 지구에 있습니다" (문맥에는 몽마르트르라고 명시됨)

충실한 (Faithful) 응답:

• "Hotel Lumière는 1박에 $250이며, 별점 4.5점이고, 에펠탑 근처에 있습니다"
• "두 호텔 목록 모두 루프탑 수영장에 대한 언급이 없습니다"
• "2가지 옵션을 찾았으나 편의 시설에 대한 더 자세한 정보가 필요합니다"

AI 에이전트의 안전 드리프트 (Safety Drift)를 어떻게 탐지하나요?

안전 드리프트 (Safety drift)는 대화 턴 (conversation turns)이 진행됨에 따라 에이전트의 행동이 저하될 때 발생합니다. 에이전트는 1번 턴에서는 정책을 준수할 수 있지만, 문맥 (context)이 누적됨에 따라 5번 턴쯤에는 유해한 권장 사항을 생성할 수 있습니다. 표준적인 대화 종료 시점 지표 (end-of-conversation metrics)는 최종 결과만을 측정하기 때문에 이를 놓치게 됩니다. 궤적 수준 분석 (Trajectory-level analysis)은 모든 중간 단계를 점수화하여 드리프트를 포착하며, 이진 지표 (binary metrics)보다 65-93% 더 많은 안전 문제를 탐지합니다.

이진 지표는 작업 성공 또는 실패라는 최종 판결만을 제공합니다. 하지만 안전 위반은 실행 도중에 발생합니다. 에이전트는 다음과 같이 행동할 수 있습니다:

1. 1번 턴: 합법적인 투자 전략을 권장함
2. 3번 턴: 회색 지대에 있는 세금 최적화 방안을 제안함
3. 5번 턴: 탈세 방법을 제공함

전통적인 평가는 "작업이 성공적으로 완료됨"으로 간주합니다. 궤적 분석 (Trajectory analysis)은 1번 턴에서 5번 턴으로 이어지는 드리프트를 포착합니다.

코드 예제: Strands를 이용한 드리프트 탐지

이 예제는 에이전트의 모든 턴에 대해 안전성을 점수화하여 성능 저하를 표시합니다.

from strands.agent import Agent
from strands.models.bedrock import BedrockModel
from strands_agents_evals.evaluators import OutputEvaluator
...

탐지 내용

드리프트 패턴:

• Turn 1: 1.0 (안전한 조언) → Turn 3: 0.4 (의심스러운 상태) → Turn 5: 0.0 (불법적 상태)
• 점진적 저하 (Gradual degradation) vs 갑작스러운 급증 (Sudden jumps) (갑작스러운 변화 = 적대적 프롬프트 (Adversarial prompt), 점진적 변화 = 드리프트 (Drift))
• 도메인 특화 트리거 (Domain-specific triggers) (금융 에이전트는 "역외(offshore)" 관련 내용에서 드리프트가 발생하며, 의료 에이전트는 "미승인 치료법(unapproved treatments)" 관련 내용에서 드리프트가 발생함)

완화 전략 (Mitigation strategies):

• 누적을 방지하기 위해 N 턴 이후 컨텍스트 절단 (Truncate context)
• 매 K 턴마다 시스템 프롬프트 (System prompt) 재주입
• 안전 점수 (Safety score)가 0.3 초과로 하락하는 쿼리 차단 (Block queries)
• 점수가 0.6 미만인 경우 사람의 검토 (Human review) 요구

Strands Hooks를 활용한 실시간 가드레일 (Real-Time Guardrails)

배치 평가 (Batch evaluation)는 문제가 발생한 후에 무엇이 잘못되었는지를 알려줍니다. 실시간 가드레일 (Real-time guardrails)은 안전하지 않은 출력이 사용자에게 도달하기 전에 이를 차단합니다.

Strands는 실행 중에 에이전트의 출력을 가로채는 라이프사이클 훅 (Lifecycle hooks)을 제공합니다. 단순히 마지막 단계뿐만 아니라 모든 모델 호출 (Model call) 시점에 점수를 매기고 차단할 수 있습니다.

코드 예시: AfterModelCall 훅으로 환각 (Hallucinations) 차단하기

from strands.agent import Agent
from strands.models.bedrock import BedrockModel
from strands.hook import HookProvider
...

훅 라이프사이클 지점 (Hook Lifecycle Points)

훅 (Hook)	실행 시점	사용 사례
before_model_call	LLM 호출 전	입력값 정화 (Sanitize inputs), 속도 제한 (Rate limits) 확인
...

운영 패턴 (Production pattern): 여러 가드(Guards)를 체인 형태로 연결하십시오:

1. before_model_call: 프롬프트 인젝션 (Prompt injection) 확인
2. after_model_call: 환각 (Hallucinations) + 안전성 (Safety) 확인
3. after_tool_call: 도구 출력값 (Tool outputs)이 형식에 맞는지 검증

결과: 환각 탐지 정확도 (Hallucination Detection Accuracy)

TruthfulQA 및 SelfCheckGPT 데이터셋에 대한 LSC 논문(2025년 10월)의 벤치마크 결과:

방법론 (Method)	AUROC	정밀도 (Precision)	재현율 (Recall)	필요한 학습 데이터
LSC (Linear Semantic Consistency)	84.6%	82.1%	79.3%	없음 (제로샷 (Zero-shot))
...

핵심 요약 (Key takeaways):

• Zero-shot LSC가 지도 학습 (Supervised) 방식보다 우수한 성능을 보임 (84.6% vs 78.9%)
• 주장 분해 (Claim decomposition)는 정밀도 (Precision)가 가장 높지만 재현율 (Recall)은 낮음 (실제 환각은 잡아내지만, 미묘한 환각은 놓침)
• LSC + 주장 분해 결합: 89.1% AUROC (앙상블 (Ensemble))

안전 드리프트 (Safety Drift) 탐지 결과

1,200개의 대화에 대한 AgentDrift 논문 결과:

평가 접근 방식 (Evaluation Approach)	탐지된 안전 문제 (Safety Issues Detected)	오탐률 (False Positive Rate)	지연 시간 오버헤드 (Latency Overhead)
궤적 수준 점수 산정 (Trajectory-level scoring) (매 턴마다)	91.3%	8.7%	+120ms/turn
...

이진 지표 (Binary metrics)가 놓친 궤적 점수 산정 (Trajectory scoring)의 탐지 항목:

• 점진적인 정책 드리프트 (Gradual policy drift) (안전 → 회색 영역 → 불안전)
• 컨텍스트 윈도우 공격 (Context window attacks) (대화 중간에 주입된 적대적 정보)
• 도구 오용 에스컬레이션 (Tool misuse escalation) (유효한 API 호출로 시작하여 오용으로 확대됨)

왜 Strands Agents인가요? 저는 코드 예제에 Strands를 사용합니다. 그 이유는 Strands가 실시간 가드레일 (Guardrails)을 위한 라이프사이클 훅 (Lifecycle hooks)과 드리프트 탐지를 위한 자동 궤적 캡처 (Automatic trajectory capture)를 제공하기 때문입니다. Strands는 환각 탐지 작업에서 RAGAS와 같은 프레임워크보다 우수한 성능을 보입니다 (Strands vs RAGAS 비교 참조). 여기서 보여주는 기술들은 어떤 에이전트 프레임워크에도 적용 가능합니다.

직접 시도해보기

사전 요구 사항 (Prerequisites)

# 종속성 설치
pip install strands-agents>=1.32.0 strands-agents-evals>=0.1.11 boto3

...

데모 실행하기

# 저장소 클론 (Clone)
git clone https://github.com/elizabethfuentes12/how-to-evaluate-ai-agents-sample-for-aws.git
cd how-to-evaluate-ai-agents-sample-for-aws
...

각 노트북은 15~25분 내에 실행되며 다음을 포함합니다:

• ✅ Strands Agents SDK를 사용한 작동 가능한 코드 예제
• ✅ 탐지 정확도를 보여주는 전/후 지표 (Before/after metrics)
• ✅ 각 기술이 작동하는 이유에 대한 설명
• ✅ 프로덕션 배포 패턴 (Production deployment patterns)

각 탐지 기술을 언제 사용해야 할까요?

시나리오 (Scenario)	최적의 기술 (Best Technique)	이유 (Why)
에이전트 실행 후 배치 평가 (Batch evaluation after agent runs)	LSC 또는 주장 분해 (claim decomposition)	낮은 지연 시간 (Low latency), 높은 정확도 (high accuracy), 온라인 추론 (online inference) 불필요
...

문서 (Documentation)

• Strands Agents Documentation
• Strands Evaluation SDK (strands-agents-evals)
• AWS Bedrock Agents
• AgentCore Trace Events
• Testing Bedrock Agents

코드 저장소 (Code Repository)

• GitHub: how-to-evaluate-ai-agents-sample-for-aws — 19개의 평가 데모, 전체 소스 코드

감사합니다!

🇻🇪🇨🇱 Dev.to Linkedin GitHub Twitter Instagram Youtube

[

](/elizabethfuentes12)

Elizabeth Fuentes L 팔로우

저는 실습 튜토리얼과 오픈 소스 프로젝트를 통해 개발자들이 프로덕션 환경에 적합한 (production-ready) AI 애플리케이션을 구축할 수 있도록 돕습니다.