Lilian헤드라인2026. 04. 29. 17:05

LLM 의 외재적 환각 (Extrinsic Hallucinations)

요약

본 기사는 대규모 언어 모델(LLM)의 환각 문제를 다루며, 특히 '외재적 환각(Extrinsic Hallucination)'에 초점을 맞춥니다. 외재적 환각이란 모델 출력이 사전 학습 데이터셋과 같은 외부 세계 지식에 근거하지 않은 허구적인 내용을 생성하는 경우를 의미합니다. 따라서 LLM이 신뢰성을 갖추기 위해서는 사실적이어야 하며, 모르는 정보는 솔직하게 인정할 수 있어야 합니다.

핵심 포인트

환각(Hallucination)은 모델이 불충실하거나 허구적인 내용을 생성하는 현상을 포괄적으로 지칭한다.
환각은 '컨텍스트 내 환각'과 '외재적 환각' 두 가지 유형으로 분류된다.
본 글에서 다루는 외재적 환각은 모델 출력이 외부 세계 지식(사전 학습 데이터)에 근거하지 않을 때 발생한다.
LLM이 신뢰성을 확보하려면, 생성된 내용이 사실적이어야 하며, 정보가 부족할 때는 이를 인정하는 능력이 필수적이다.

대형 언어 모델 (Large Language Models) 에서의 환각 (Hallucination) 은 일반적으로 모델이 불충실한, 허구의, 일관성이 없는, 또는 무의미한 내용을 생성하는 것을 의미합니다. 이 용어는 모델이 실수를 할 때를 포괄적으로 지칭하기도 합니다. 여기서는 환각 문제를 모델 출력이 제공된 컨텍스트 (context) 나 세계 지식 (world knowledge) 에 의해 근거화되지 않은 허구적인 경우로 좁혀서 정의하고자 합니다.

환각에는 두 가지 유형이 있습니다:

컨텍스트 내 환각 (In-context hallucination): 모델 출력은 컨텍스트 내의 소스 콘텐츠와 일관되어야 합니다.
외재적 환각 (Extrinsic hallucination): 모델 출력이 사전 학습 데이터셋 (pre-training dataset) 에 의해 근거화되어야 합니다.

그러나 사전 학습 데이터셋의 규모를 고려할 때, 생성마다 충돌을 검색하고 식별하는 것은 비용이 너무 많이 듭니다. 만약 사전 학습 데이터 코퍼스 (corpus) 를 세계 지식의 대리변수 (proxy) 로 간주한다면, 본질적으로 모델 출력이 외부 세계 지식에 의해 사실적이며 검증 가능하도록 보장하려는 시도가 됩니다.

동등하게 중요한 점은, 모델이 특정 사실을 모를 때는 이를 인정해야 한다는 것입니다. 이 포스트는 외재적 환각 (extrinsic hallucination) 에 초점을 맞춥니다. 환각을 피하기 위해 LLM(대형 언어 모델) 은 다음 두 가지 조건을 충족해야 합니다:

사실적이어야 하며
해당되는 경우 답을 모른다고 인정해야 합니다.

AI 자동 생성 콘텐츠

원문 바로가기

LLM 의 외재적 환각 (Extrinsic Hallucinations)

요약

핵심 포인트

댓글