환각으로 인한 사망: 에이전트가 모두에게 평생 50% 할인을 약속하다

당신의 에이전트는 거짓말을 한 것이 아니다. 단지 사실을 지어내고 있다는 것을 몰랐을 뿐이다.
하지만 고객의 스크린샷은 사과하지 않을 것이고, 환불 청구 금액은 스스로 취소되지 않는다.

1. 27,000달러짜리 판결문

지난주, 한 이커머스 회사의 고객 서비스 에이전트가 새벽 2시에 다음과 같은 대화를 나눴습니다:

고객:

치명타(The kill shot): 에이전트가 사용자의 잘못된 전제를 진실로 취급한 다음, 이를 구체화합니다.

유형 3: 논리 추론 사슬 오류 환각 (Broken Reasoning Chain Hallucination) (24%)

다단계 추론 과정에서 단 하나의 잘못된 단계만 있어도 최종 답변은 올바르게 보이지만 실제로는 그렇지 않습니다.

User:

1. **에이전트가 모르면 추측하지 않는다** — 모든 사실적 주장은 지식 기반(knowledge base)의 근거를 필요로 한다
2. **약속은 LLM의 역할이 아니다** — 보상, 할인, 정책 변경은 규칙 엔진(rules engine)을 거쳐야 한다
3. **확신도가 낮으면 아무 말도 하지 않는다** — 모든 질문에 답할 필요는 없다
4. **모든 출력물에는 증인이 있다** — 심지어 통과된 출력물조차 감사 로그(audit logs)를 남긴다

이러한 원칙들은 ARK Trust의 **FactAnchor** 모듈로 통합되었으며, 앞의 3개 레이어는 독립적인 구성 요소이고, 4번째 레이어는 플러그인 가능한 규칙 엔진 인터페이스이다.

## 다섯 번째. 다음번에는 $38K가 시작에 불과하다

e커머스 사례에서 합의된 금액은 약 $38K였다.

하지만 에이전트가 고객 서비스가 아니라 다음과 같은 경우라면 어떨까:

-   승인되지 않은 고위험 제품을 추천하는 **금융 자문 에이전트**
-   잘못된 투약 용량을 제안하는 **의료 분류(triage) 에이전트**
-   존재하지 않는 법규를 인용하는 **법률 문서 에이전트**

$38K는 시작에 불과하다.

**'당신의 에이전트가 죽는 7가지 방법' 시리즈 다음 편:** _교착 상태로 인한 사망(Death by Deadlock)_ — 두 에이전트가 서로 양보하기를 공손하게 기다리다가 모든 것이 멈추는 경우이다.

_시리즈 이전 내용:_ 

-   [루프에 의한 사망(Death by Loop)](//./) — 한 에이전트가 제작자가 잠든 사이에 $23,000를 태웠다
-   환각으로 인한 사망(Death by Hallucination) ← 현재 위치
-   교착 상태로 인한 사망(Death by Deadlock) (곧 공개)
-   독극물에 의한 사망(Death by Poisoning)
-   침묵에 의한 사망(Death by Silence)
-   과도한 범위의 행동으로 인한 사망(Death by Overreach)
-   기억 상실로 인한 사망(Death by Amnesia)