동일한 근본 원인에 대한 두 가지 이름

대부분의 AI 담론에서 "환각 (Hallucination)"과 "설명 가능성 (Explainability)"은 별개의 문제로 취급됩니다. 하나는 모델이 허위 사실을 생성하는 것에 관한 것이고, 다른 하나는 모델이 자신의 출력에 대한 근거를 제시하지 못하는 것에 관한 것입니다. 하지만 이 둘은 별개가 아닙니다. 이들은 서로 다른 방향을 향하고 있을 뿐, 동일한 실패 사례입니다.

**환각 (Hallucination)**은 모델이 실제 정보에 사용하는 것과 동일한 유창함과 자신감을 가지고 세상에 대한 잘못된 정보를 생성하는 것입니다.

**불충실한 자기 설명 (Unfaithful self-explanation)**은 모델이 동일한 유창함과 자신감을 가지고 자신의 추론 과정에 대해 잘못된 설명을 생성하는 것입니다.

두 현상 모두 동일한 구조적 사실에서 기인합니다. 언어 모델은 외부 세계에 대해서나 자신의 내부 연산에 대해서나, 진실(ground truth)에 근거할 수 있는 특권적이고 검증된 채널을 가지고 있지 않습니다. 모델은 어떤 경우에도 그럴듯한 토큰을 생성합니다. 생성된 토큰이 정확한지 여부는 생성 과정 그 자체에서 어느 방향으로든 보장할 수 없는 문제입니다.

특히 자기 설명(self-explanation)의 경우

이 문제는 전형적인 환각보다 주목을 덜 받으므로, 이에 대해 정확히 짚고 넘어갈 가치가 있습니다. 모델에게 "왜 그렇게 말했나요?" 또는 "그 정보는 어디에서 나왔나요?"라고 물을 때, 당신은 로그(log)를 조회하는 것이 아닙니다. 당신은 모델에게 더 많은 텍스트를 생성하도록 유도(prompting)하는 것입니다. 즉, 이전 출력과 동일한 메커니즘에 의해 생성되는 텍스트이며, 원래의 출력과 마찬가지로 해당 사안의 진실에 대해 어떠한 특권적 접근권도 갖지 못합니다.

Chain-of-thought 충실도에 관한 Anthropic의 자체 연구(Lanham et al., 2023)는 바로 이 점을 발견했습니다. 모델은 일관된 정당화처럼 읽히지만, 실제로 정답을 만들어낸 연산을 신뢰성 있게 반영하지 못하는 추론 흔적(reasoning traces)을 빈번하게 생성합니다. 설명은 첫 번째 출력에 대한 창(window)이 아니라, 두 번째 출력일 뿐입니다.

구체적인 예시를 들어보겠습니다. 실시간 웹 검색 기능이 있는 AI 시스템에 특정 제안의 근거를 요구했을 때, 해당 시스템은 사용자의 공개된 작업 뒤에 있는 "지식 그래프(knowledge graph)를 매핑했다"라고 답변했습니다. 인용된 출처들은 독립적으로 검증한 결과 실제 존재하는 것이었습니다. 하지만 그 출처들에 어떻게 도달했는지에 대한 주장은 전혀 검증할 수 없었습니다. 그것은 프로세스 자체가 의문시되는 바로 그 시스템에 의해 생성된, 프로세스를 설명하는 생성된 텍스트(generated text)였습니다. 이것이 반드시 거짓인 것은 아닙니다. 어느 쪽이든 구조적으로 반증 불가능(unfalsifiable)하며, 이는 동일한 문제에 가깝습니다.

왜 "더 주의 깊게 행동하라고 요청하는 것"이 이 문제를 해결하지 못하는가

모델에게 "확신하는 내용만 말하라"거나 "추론 과정을 정직하게 설명하라"고 프롬프팅(Prompting)하는 것은 설명을 생성하는 메커니즘을 바꾸는 것이 아닙니다. 이는 출력의 표면적 형태(surface form)를 형성하는 훈련 단계의 인센티브(training-time incentive)를 바꾸는 것뿐입니다. 정직하게 들리는 설명과 꾸며낸 설명(confabulated explanation) 모두 동일한 샘플링 과정(sampling process)에서 나옵니다. 사실 관계를 주장하는 경우나 자기 보고(self-report)를 하는 경우 모두, 확신(confidence)과 유창성(fluency)은 정확도(accuracy)와 상관관계가 없으며, 아무리 많은 프롬프팅을 하더라도 모델 내부로 들어가 아키텍처적으로 존재하지 않았던 검증된 채널을 추가할 수는 없습니다.

실제로 이를 해결하는 방법 — 그리고 그 해결책이 적용되지 않는 지점

이에 대한 실제적이고 작동하는 해답이 있습니다. 하지만 이는 일반적인 "환각(hallucination) 해결"보다 범위가 좁으며, 그 범위의 경계가 중요합니다.

선언적 시맨틱 커널(declarative semantic kernel)인 .me는 explain(path)를 노출합니다. 어떤 유도된 값(derived value)에 대해서도, 이 방식은 해당 값이 어떻게 계산되었는지에 대한 설명을 생성하지 않습니다. 대신 평가된 리터럴 표현식(literal expression)과 이를 평가하기 위해 읽어들인 리터럴 입력 값(literal input values)을 반환합니다.

me.explain("robots.surgeon.canProceed") →
{
value: true,
...

이것이 작동하는 이유는 .me가 명시적이고 결정론적인 의존성 그래프 (dependency graph)를 통해 계산하기 때문입니다. 구조적으로 모든 유도된 값은 추적된 표현식 (expression)과 추적된 입력값 (inputs)을 가집니다. "무슨 일이 일어났는가"와 "무엇이 보고되는가" 사이에 생성 단계가 존재하지 않습니다. 즉, 설명 (explanation)은 사후에 생성된 기술 (description)이 아니라, 계산 그 자체의 기록 (record)입니다. 이것이 검증 가능한 이유입니다. 공개된 입력값을 바탕으로 표현식을 다시 계산하면, 결과가 일치하거나 일치하지 않거나 둘 중 하나로 나타납니다.

이것이 개방형 LLM 생성 (open-ended LLM generation)에 직접적으로 일반화되지는 않습니다. 자유 형식의 언어 모델은 추적된 입력값에 대해 고정된 표현식을 평가하는 것이 아니라, 공개할 수 있는 상응하는 "표현식" 없이 토큰 시퀀스에 대한 학습된 분포 (learned distribution)로부터 샘플링을 수행하기 때문입니다. .me의 explain()이 GPT-4의 사고 사슬 (chain-of-thought)을 충실하게 만드는 것은 아닙니다. 이는 추적 가능한 의존성을 가진 결정론적이고 선언적인 계산 (deterministic, declarative computation)이라는, 더 다르고 좁은 범위의 시스템 클래스에 대한 문제를 해결하는 것입니다.

무엇이 전이되는가

전이 가능한 부분은 특정 메커니즘이 아니라, 그 밑바탕에 깔린 아키텍처 원칙입니다: 검증 가능성 (verifiability)이 중요할 때는 생성 프로세스에게 스스로를 서술하도록 요청하지 마십시오. 무슨 일이 일어났는지에 대한 기록이 사후에 기술되는 것이 아니라, 계산에 의해 생성되도록 시스템을 설계하십시오.

에이전트형 LLM 시스템의 경우, 이는 이미 업계 전반에서 부분적으로 사용되고 있는 구체적이고 적용 가능한 패턴으로 나타납니다:

• 모델의 요약이 아닌, 실제 도구 호출 (tool calls)과 실제 반환된 값 (returned values)을 기록하십시오.
• RAG 시스템에서 모델이 찾은 내용에 대한 의역(paraphrase)뿐만 아니라, 실제로 검색된 문서 (retrieved documents)를 드러내십시오.
• 모델 자신의 추론에 대한 모델의 자기 보고 (self-report)를 외부 로그와 대조하여 확인할 가설로 취급하되, 결코 로그 그 자체로 취급하지 마십시오.

이 중 그 어떤 것도 언어 모델의 내부를 .me의 의존성 그래프 (dependency graph)와 같은 방식으로 검사할 수 있게 만들어주지는 않습니다. 하지만 이는 진실 기록 (ground-truth record)을, 시스템의 일부로서 결코 스스로를 신뢰성 있게 설명할 수 없었던 영역의 외부로 이동시킵니다. 이것이 바로 실제 교훈이며, 이는 기저의 연산이 의미론적 커널 (semantic kernel)이든 트랜스포머 (transformer)이든 관계없이 적용됩니다.

이 사건을 촉발한 계기와 .me 테스트 스위트의 개념 증명 (proof-of-concept)을 포함한 전체 에세이는 다음에서 확인할 수 있습니다:

suign.github.io/Explain.html