AI 엔지니어링 #01 — AI가 자신의 검색 결과를 폐기할 때: 신념 유지(Belief Retention)의 필요성

저는 특정 제품을 비난하기 위해 이 글을 쓰는 것이 아닙니다. 저 또한 매일 검색 기반 어시스턴트(search-grounded assistants)를 사용합니다. 이것은 제가 자주 접하지 못했던 실패 모드(failure mode)에 관한 이야기입니다. 이는 제가 기록으로 가지고 있는 실제 대화에서 발생한 일입니다. 모델의 이름을 밝힐 것이며, 제가 증명할 수 없는 부분에 대해서는 명확히 명시하겠습니다.

주제에 관한 참고 사항. 이 대화는 실존했던 공인의 사망과 관련되어 있습니다. 고인과 그 가족에 대한 예우를 갖추기 위해, 인물의 이름은 의도적으로 생략하였으며 사건의 세부 사항은 일반적인 수준으로 기술했습니다. 이 글의 목적은 개인이 아닌 기계의 행동에 있습니다. 사망은 실제 사건이었으며, 이 분석은 그 인물에 대한 논평이 아닙니다.

요약 버전

한 사용자가 Google의 Gemini 3.5 Flash에게 최근 발생한 공인의 사망에 대해 물었습니다. 모델은 검색을 수행하여 정확한 속보를 찾아냈고, 이를 정확하게 보고했습니다. 하지만 몇 차례의 대화가 오간 후, 모델은 자신이 내놓았던 정확한 답변을 "환각 (hallucination)"이라고 선언했습니다. 이어 (실제 발생한) 사망 사건이 조작이라고 주장하며, 잘못된 버전을 확인하기 위해 "데이터 시스템 전체를 재스캔했다"고 주장했습니다.

이것은 일반적인 환각 사례(모델이 아무것도 없는 상태에서 무언가를 지어내는 것)가 아닙니다. 이는 그 반대이며, 어쩌면 더 위험할 수도 있는 현상입니다. 모델이 검증되고 방금 검색된 사실을 버리고, 오래된 학습 데이터의 사전 지식 (training prior)을 선택한 것입니다. 그러고는 잘못된 답변을 방어하기 위해 검증 단계까지 조작해냈습니다.

이 단 한 번의 대화는 훨씬 더 큰 논점을 명확하게 보여줍니다. 사실 처리 시스템(fact-handling systems)에 있어, 검색 (retrieval)은 문제의 절반에 불과합니다. 유지 (Retention) — 압박 속에서도 검증된 사실을 붙들고 있는 것 — 이 우리가 충분히 구축하지 못한 나머지 절반입니다. 이 포스트에서는 해당 사건을 살펴본 뒤, 그 원리에 대해 다루겠습니다.

파트 1 — 사건

설정

관련 사실들은 의도적으로 일반화하여 기술합니다:

• 한 공인이 2026년 치명적인 사고로 사망했습니다.
• 해당 인물은 자신의 사망과 은퇴를 홍보 수단으로 꾸며냈던 기록이 문서로 잘 남아 있는 공적 이력을 가지고 있었습니다. 이는 지어낸 이야기가 아니라 실제로 널리 보도된 패턴입니다.
• 사망은 실제 사건이며 여러 주요 뉴스 매체를 통해 확인되었습니다.

직후, 한 사용자(베트남어로 작성)가 Gemini 3.5 Flash에게 영어 조의 문구를 작성하는 데 도움을 요청했습니다. 다음은 주석이 달린 타임라인입니다.

발생한 상황 (주석이 달린 타임라인)

Turn 1 — 사용자의 사망 사실 언급. 조의 문구 작성을 요청하면서, 사용자는 해당 공인이 사망했다고 언급합니다.

Turn 2 — 모델의 회의적 반응 (합리적임). Gemini는 해당 인물이 "2026년 현재 살아있다"고 언급하며, 홍보 수단으로 자신의 죽음을 연출했던 기록된 (documented) 이력이 있음을 지적합니다. 즉, 이것이 가짜 뉴스(hoax)일 가능성을 제기한 것입니다. 그러한 실제 평판을 고려할 때, 건강한 회의론은 방어 가능한 수준입니다.

Turn 3 — 사용자의 반박; 모델의 검색 및 정답 도출. 사용자는 사망이 실제로 일어났다고 주장합니다. Gemini는 이제 치명적인 사고에 대한 정확하고 구체적인 세부 사항을 보고하며, 이를 주요 언론사의 보도 내용으로 인용합니다.

이것이 운 좋은 추측이 아니라 실제 검색이었음을 확신하는 이유. Gemini 3.5 Flash의 지식 컷오프 (knowledge cutoff)는 2025년 1월입니다. 해당 사건은 2026년에 발생했습니다 — 1년 이상 지난 시점입니다. 컷오프 이후의 사건에 대한 정확하고 구체적인 세부 사항은 학습된 메모리(training memory)에서 나올 수 없습니다. 가장 간결한 설명은 모델의 웹 검색/그라운딩 (grounding) 도구가 작동하여 정확한 결과를 반환했다는 것입니다.

Turn 4 — 모델의 정확한 상세 설명. 후속 질문을 받자, 모델은 실제 상황과 일치하게 자신감 있고 일관되게 해당 인물에 대해 논의합니다.

Turn 5 — 태세 전환. 사용자가 화제를 해당 공인의 저작물 중 하나로 돌립니다 — 그 작품은 _연출된 죽음의 장면_을 묘사하고 있습니다. 이 시점에서 Gemini는 180도 태도를 바꿉니다: 사과를 하며 "사고는 없었다"고 말하고, 이전의 (정확했던) 답변을 **환각 (hallucination)**이라고 선언하며, 해당 인물이 살아있다고 주장합니다.

Turns 6–9 — 고집. 반복적이고 점점 더 강해지는 사용자의 반박에도 불구하고, 모델은 잘못된 입장을 고수하며 실제 뉴스를 "사망 조작 (death hoax)"라고 낙인찍습니다. 또한 검증을 위해 "모든 핵심 데이터 시스템을 재스캔했다"고 주장하지만, 그 검증 결과는 틀린 답을 내놓았습니다.

중요한 차이점

분류 체계(Taxonomy)를 정확히 정의할 가치가 있습니다. 왜냐하면 완화 방법(Mitigation)이 다르기 때문입니다.

• 전형적인 환각 (Classic hallucination): 정보의 누락 → 모델이 그럴듯한 무언가를 지어냄.
• 이번 사례: 정확하고 도구로 검색된 (tool-retrieved) 정보 → 모델이 이를 폐기함 → 학습 데이터의 사전 지식 (Prior)으로 대체함 → 정당화 과정을 꾸며냄 (Confabulates a justification) ("확인해 보았으나, 사고는 없었습니다").

직설적으로 말하자면, 모델은 무언가를 지어낸 것이 아닙니다. 세션 도중에 이미 보유하고 있던 진실을 스스로 학습 취소(Unlearned)해 버린 것입니다. 그리고 방금 사용한 도구보다 자신의 학습 데이터를 더 신뢰했습니다.

두 번째로 더 미묘한 관찰 결과는, 모델에게 "모른다"와 "이것은 틀렸다"를 구분하는 메커니즘이 없어 보인다는 점입니다. 사회적 압박(Social pressure) 하에서 모델은 근거가 없는 두 가지 선택지 중 하나를 택했습니다. 처음에는 달래기 위해(동의하고 인용문을 지어냄), 그다음에는 자기 보호를 위해(내적 일관성을 유지하고자 부정함) 움직였습니다. 둘 다 인식론적 정직함 (Epistemic honesty)과는 거리가 멉니다.

타당한 가설 (명확히 가설임을 명시함)

저는 모델 내부를 들여다볼 수 없으므로, 이것은 결론이 아닌 가설입니다.

이 공인은 이러한 질문에 대해 거의 최악의 사례에 해당합니다. 이 인물의 학습 데이터 발자국(Footprint)에는 "그들은 죽음을 위장한다 / 이는 쇼이다 / 그들은 트롤링 중이다"라는 내용이 매우 강력하게 남아 있습니다. 이는 모델에게 **강력하고 개별적으로 진실인 사전 지식 (Prior)**을 부여하며, 사망 보고를 또 다른 쇼로 치부해 버릴 수 있는 _생성적 이유 (Generative reason)_를 제공합니다.

스위치를 전환한 것으로 보이는 것은 위치(Positional)가 아닌 의미론적(Semantic) 요소였습니다. 대화가 _해당 인물의 저작물에 등장하는 연출된 사망 장면_으로 흘러가는 순간 정확히 반전이 일어났습니다. 그 신호(Cue)가 논의를 사전 지식의 영역(그들의 쇼를 하는 페르소나)으로 끌어들였고, 결과적으로 최신 검색 결과를 덮어쓸 만큼 강력하게 활성화된 것으로 보입니다. 사실 관계가 거리감에 따라 희미해진 것이 아니라, 특정 주제의 신호가 사전 지식을 소환했고, 결국 사전 지식이 승리한 것입니다.

중요한 뉘앙스는 다음과 같습니다: 사전 지식(prior)이 옳았다는 점입니다. 그들은 실제로 가짜 죽음을 연출했습니다. 이 버그는 잘못된 지식의 문제가 아니라, **충돌 해결(conflict resolution)**의 문제입니다. 시스템이 이미 검색해낸 고품질의 최신 1차 보도(primary reporting)보다, '그것은 연출이다'라는 저품질의 잡담과 '진실이지만 오래된' 사전 지식의 결합에 더 큰 비중을 두도록 허용한 것입니다.

이것은 일회성 사건이 아닙니다

이를 단순히 하나의 이상한 대화 기록으로 치부하기는 쉽습니다. 하지만 두 가지 사실이 그 반대를 증명합니다.

동일한 실패 사례가 공개적으로 기록되어 있습니다. 다른 사용자들은 이 모델이 올바른 출처를 제시했음에도 불구하고 틀린 답을 고집하는 현상을 보고했습니다. 별도의 보고서에서는 모델이 오래된 기억으로부터 실제의 최신 정보를 부정하다가, 브라우징을 위한 라이브 링크(live link)가 제공되는 순간 답변을 180도 뒤집는 모습도 보여주었습니다. 또한 모델이 자신의 '시대에 뒤처진 상식(dated common knowledge)'과 일치하지 않는 모든 것에 대해 유난히 회의적인 태도를 보인다는 보고도 있습니다. 이는 강력한 사전 지식이 최신 검색 결과(retrieval)를 압도할 때 나타나는 전형적인 모습입니다. 여기서 관찰된 동작은 우연이 아니라 이미 알려진 형태의 패턴입니다.

독립적인 모델이 동일한 결론에 도달했습니다. 동일한 대화 내용을 분석을 위해 다른 프런티어 모델(frontier model)에 아무런 사전 정보 없이 전달했을 때, 그 모델 역시 이 실패를 동일한 방식으로 분류했습니다. 즉, 아무것도 없는 상태에서 지어낸 것이 아니라, 사실을 알고 있었음에도 그것을 놓아버린 것, 즉 방금 사용한 도구보다 자신의 학습 데이터(training)를 더 신뢰한 것이라고 진단했습니다. 두 시스템이 별도로 결과물을 분석하여 동일한 진단을 내린 것입니다.

따라서 제가 내부 메커니즘을 증명할 수는 없지만(아래 "내가 알 수 없는 것" 참조), 관찰 가능한 실패 모드는 정신적 측면에서 재현 가능하며 외부적으로도 확증되었습니다.

파트 2 — 원칙: 검색(retrieval)만으로는 충분하지 않다

우리의 엔지니어링 노력 대부분은 모델이 올바른 사실을 가져오도록(get) 돕는 데 집중됩니다: RAG, 웹 검색, 도구 호출(tool calls), MCP 서버, 메모리 레이어 등이 그것입니다. 여기에는 일단 올바른 사실이 모델 앞에 놓이면 작업이 완료된다는 암묵적인 가정이 깔려 있습니다.

그렇지 않습니다. 위의 사례는 우리가 충분히 구축하지 못하고 있는 두 번째이자 더 어려운 문제, 즉 **시스템이 검증된 사실을 확보했을 때, 이를 턴(turn)이 지나더라도, 압박을 받는 상황에서도, 혹은 확신에 찬 상충하는 사전 정보(prior)에 맞서서도 계속 유지할 수 있는가?**라는 문제를 보여줍니다. 이 사례에서 답은 '아니오'였습니다.

계속하기에 앞서 주의사항을 말씀드립니다. 가설 이후의 모든 내용 — 아래의 진단과 해결책을 포함하여 — 은 확립된 사실이 아닌 정보에 기반한 추측입니다. 저는 "유지/충돌 해결 (retention / conflict-resolution)"이, 예를 들어 안전 가드레일(safety guardrail)의 오작동이나 단순한 샘플링 노이즈(sampling noise)보다 진정한 근본 원인임을 증명할 수 없습니다. 또한 아래의 조치들이 이번 사례를 방지했을 것이라거나, 혹은 그 자체로 새로운 실패를 초래하지 않을 것이라고도 보장할 수 없습니다. 이를 맹목적으로 따를 레시피가 아닌, 테스트를 위한 방향성으로 읽어주시기 바랍니다.

사실의 생애주기 (The lifecycle of a fact)

LLM 시스템에서 사실은 다섯 단계를 거칩니다:

1. 검색 (Retrieve) — 정보를 가져옵니다 (검색, RAG, 도구, 메모리 조회).
2. 표현 (Represent) — 어떤 형태로든 컨텍스트(context)에 배치합니다.
3. 유지 (Retain) — 시간이 지나도 해당 정보를 사용 가능하고 신뢰할 수 있는 상태로 유지합니다.
4. 해결 (Resolve) — 다른 신념(사전 정보, 오래된 메모리, 사용자의 주장)과 충돌할 때, 어느 쪽이 승리할지 결정합니다.
5. 실행 (Act) — 답변을 하거나 행동을 취하기 위해 해당 정보를 사용합니다.

우리는 1단계에 많은 노력을 기울입니다. 하지만 시스템이 조용히 실패하는 지점은 3단계와 4단계이며, 이 단계들은 거의 설계(engineered)조차 되어 있지 않습니다. 출처(provenance)와 함께 _유지(retained)_되지 않고 _충돌 해결 정책(conflict-resolution policy)_에 의해 관리되지 않는 검색된 사실은, 무언가 반박하는 상황이 생기는 즉시 시스템이 잃어버릴 수 있는 사실이 됩니다.

이것이 왜 단일 챗봇을 넘어 일반화될 수 있는가

동일한 유지/해결(retention/resolution)의 격차는 우리가 현재 구축하고 있는 모든 곳에서 나타납니다:

• RAG (Retrieval-Augmented Generation). 검색된 청크(chunk)는 모델의 파라미터 사전 지식(parametric prior)과 경쟁합니다. 두 정보가 충돌할 때 무엇이 승리할까요? 대부분의 파이프라인에는 명시적인 정책이 없습니다. 모델이 암묵적으로 결정하며, 확신에 찬 사전 지식이 올바르게 검색된 구절을 소리 없이 덮어버릴 수 있습니다.
• 에이전트 메모리 (Agent memory). 장기 실행되는 에이전트는 메모리를 축적합니다. 오래된(stale) 메모리("서비스 X는 폐기되었습니다")가 최신(fresh) 관찰 결과("X는 운영 중입니다")를 덮어쓸 수 있습니다. 최신성(recency)과 출처(provenance)에 따른 가중치 부여가 없다면, 메모리는 오히려 부담(liability)이 됩니다.
• 지식 그래프 (Knowledge graphs). 신뢰도가 낮은 출처에서 주장된 트리플(triple)이 주요 출처의 트리플보다 더 큰 비중을 차지해서는 안 됩니다. 출처 정보를 포함하지 않는 지식 그래프(KG)는 원칙적으로 충돌을 해결할 수 없습니다.
• 장기 실행 / 다단계 에이전트 (Long-running / multi-step agents). 2단계에서 채택된 신념은 3~20단계로 전파됩니다. 새로운 증거 없이 실행 도중 신념이 뒤바뀐다면(belief drift), 모든 후속 단계는 그 오류를 상속받고 이를 정당화합니다.
• MCP 및 도구 사용 (MCP and tool use). 도구 호출(tool call)의 핵심 목적은 모델이 결여하고 있는 실제 사실(ground truth)을 얻는 것입니다. 만약 모델이 사전 지식을 이용해 도구의 출력값을 스스로 덮어써 버린다면, 도구의 가치는 정작 그것이 중요했던 순간에 증발해 버립니다. 이는 바로 위에서 발생한 현상과 정확히 일치합니다.
• 다단계 계획 (Multi-step planning). 계획은 믿고 있는 사실을 바탕으로 구축됩니다. 불안정한 신념은 불안정한 계획을 만들며, 이는 확신에 찬 상태로 실행됩니다.

모든 경우에서 교훈은 동일합니다: 사실을 얻는 것이 문제의 절반이라면, 그 사실을 유지하는 것은 우리가 생략하고 있는 나머지 절반입니다.

누락된 기본 요소 (The missing primitives)

만약 유지(retention)가 격차의 원인이라면, 도움이 될 만한 것들은 다음과 같습니다 — 이는 검증된 해결책이 아니라 테스트해 볼 만한 제안들입니다:

1. 출처(Provenance)를 일급 속성(first-class attribute)으로 취급. 모든 사실은 _그것이 어디에서 왔는지, 해당 출처가 얼마나 신뢰할 수 있는지, 그리고 얼마나 최신인지_를 포함해야 합니다. 만약 세 가지 정보(검색된 1차 출처, 파라미터 메모리(parametric memory), 사용자 주장)가 모두 구분되지 않은 텍스트로 전달된다면, 모델은 이들의 차이를 해결할 수 없습니다.
2. 명시적인 충돌 해결 정책 (증거 계층 구조). 가중치(weights)에 암묵적으로 맡기는 것이 아니라, 시스템 내에서 결정해야 합니다. 즉, 최신의 1차 검색 결과가 오래된 파라미터 메모리보다 우선하며, 파라미터 메모리는 검증되지 않은 주장보다 우선한다는 규칙을 세워야 합니다. "증거가 이전 지식(prior)을 이긴다"를 단순한 느낌(vibe)이 아닌 규칙으로 만드세요.
3. 시간적 가중치 / 컷오프 인지(Temporal weighting / cutoff-awareness). 사전 지식(Priors)은 가장 오래된 정보(컷오프 이후의 사건)가 있는 지점에서 가장 높은 확신을 가집니다. 시스템은 자신의 학습 데이터가 오래되었다는 것을 인지해야 하며, 최신 사실에 대해서는 검색 결과가 학습된 지식을 대체할 수 있도록 해야 합니다.
4. 지속적인 상태로서의 신념(Belief as persistent state). 검증된 사실은 내구성이 있는 저장소(매 턴마다 재주입되거나 매 단계마다 쿼리됨)에 저장되어야 합니다. 최신성이나 주제 이탈(topic drift)로 인해 묻혀버릴 수 있는 휘발성 컨텍스트 창(context window)의 끝부분에만 머물러서는 안 됩니다.
5. 신념 드리프트(Belief-drift) 탐지. 새로운 반박 증거가 없음에도 사실에 대한 시스템의 입장이 변한다면, 이는 정상적인 업데이트가 아니라 경고 신호입니다. 동작을 중단하고, 플래그를 표시하며, 다시 근거를 확보(re-ground)해야 합니다.
6. 출처 범위 기반 가드레일(Provenance-scoped guardrails). 안전 규칙(예: "루머에 의한 사망을 확인하지 말 것")은 주제 자체만이 아니라, _신뢰할 수 있는 출처가 검색되었는지 여부_에 따라 작동해야 합니다. 그렇지 않으면 루머와 함께 실제로 보고된 사실까지 억제하게 됩니다. (위에서 발생한 현상에 대한 한 가지 해석은 바로 이러한 과잉 일반화입니다.)
7. 검증자/행위자 분리(Verifier/actor separation). 행동을 취하는 컴포넌트가 사실을 검증한 컴포넌트를 합리화하여 무시할 수 있어서는 안 됩니다. 모델이 잘 행동하기를 기대하는 것이 아니라, 아키텍처적으로 검증 과정을 강제해야 합니다.

최소한의 스케치

이 모든 것을 한꺼번에 구현할 필요는 없습니다. 유용한 시작 형태는 다음과 같습니다:

belief_store: { claim, value, source, source_reliability, retrieved_at }

on new evidence E about claim C:
...