서론
생성 AI의 환각(hallucination)을 논할 때는 현상의 정의와 기술의 발전 단계를 구별할 필요가 있습니다. 2023년경의 대규모 언어 모델(LLM)에서는 모르는 내용에 대해서도 답변을 만들어내고, 존재하지 않는 사실을 그럴듯하게 설명하는 행동이 두드러졌습니다. 하지만 추론 모델의 등장, 답변 전 정보 검색, 외부 자료를 이용한 근거 제시, 답변 유보 판단 개선 등을 통해 이러한 전형적인 실패는 크게 억제되어 왔습니다. 2026년의 AI를 논할 때 당시의 행동을 그대로 대표 사례로 다루는 것은 적절하지 않습니다.
본고에서는 환각의 의미를 확인한 후, '근거 없이 답변을 만들어내는 단계'에서 '필요한 근거를 얻어 답변하는 단계'로의 이행에 초점을 맞춥니다. 이러한 변화를 바탕으로 여전히 남아있는 오류의 성질, 정보 시스템으로서의 당연한 품질(当たり前品質), 이용자의 인지 능력, 사회적·경제적 격차에 미치는 영향을 고찰합니다. 기술적인 원인과 품질상의 책임이 혼동되지 않도록 현재 AI 시스템을 평가하기 위한 틀을 제시하는 것이 목적입니다.
환각의 정의와 고전적인 문제
일반적으로 환각이란, AI가 사실과 다른 내용이나 근거 없는 내용을 사실인 것처럼 생성하는 현상을 말합니다. 문장의 그럴듯함은 이용자가 오류를 발견하기 어렵게 만드는 요인이지만, 정의상의 필요 조건은 아닙니다. 명백히 터무니없는 주장이라도 사실로 제시된다면 해당될 수 있습니다. 또한, '거짓'이라는 표현이 내포하는 의도적인 기만을 전제로 할 필요는 없으며, 창작 요청에 따른 가상의 이야기는 보통 이 문제에 포함하지 않습니다. 연구적으로는 현실의 사실과의 불일치 외에도 주어진 자료나 입력 정보에 대한 충실성(fidelity) 역시 평가 대상이 됩니다.
2023년경의 전형적인 문제는 내부 지식이 부족하더라도 답변을 생성하려고 시도하는 것이었습니다. 예를 들어, 존재하지 않는 논문의 저자나 발행 연도를 구체적으로 언급하거나, 한 번도 들어본 적 없는 전문 용어에 정의를 부여하는 등의 오류입니다. 여기서는 문장을 생성하는 능력과 서술된 내용이 실제로 존재하는지 확인하는 능력이 충분히 연결되어 있지 않았습니다. 오류를 탐지하는 역할은 이용자가 부자연스러운 부분에 알아차리고 재질문한다는 사후적인 조작(事後的的な操作)에 크게 의존하고 있었습니다.
이러한 행동의 설명으로, 미라이당(未来党) 대표 아노 타카히로 의원도 YouTube 영상에서 소개했듯이 모른다고 답하는 것보다 추측해서 답변하는 것이 평가상 유리하다는 학습 및 평가 유인이 지적되어 왔습니다. 정답에 점수를 주고 오답과 답변 보류를 동점으로 하는 채점 방식에서는, 조금이라도 정답할 가능성이 있다면 추측하는 것이 합리적입니다. 이 구조는 2026년 『Nature』에 게재된 연구에서도 논의되었으며, 현재도 평가 설계상 중요한 문제입니다. 다만, 이러한 유인이 존재한다고 해서 모든 최신 모델이 실제로 추측을 우선한다고 결론 내릴 수는 없습니다. 학습 후 조정(fine-tuning), 답변 보류 처리, 도구 이용, 제품 전체의 설계에 따라 관찰되는 행동은 달라집니다.
추론 모델과 답변 전 정보 획득으로의 전환
현재 고성능 AI 시스템을 특징짓는 변화는 답변을 생성하기 전에 필요한 정보를 조사할 수 있게 되었다는 점입니다. Web 검색, 문서 검색, 검색 증강 생성(RAG)은 엄밀히 말해 같은 구현 방식은 아니지만, 모델이 기억하는 내용에만 의존하지 않고 외부 정보를 획득하여 답변의 근거로 삼는다는 점이 공통적입니다. 미지의 사안에 대한 선택지는 추측해서 답할지, 모른다고 답할지라는 이분법적 선택에서 정보 획득 후 답변한다는 방법으로 확장되었습니다. 이러한 정보 획득이 적절하게 실행된다면, 지식의 공백을 가상의 사실로 메울 필요성은 감소합니다.
이러한 변화는 추론 능력의 향상과 결합될 때 효과를 발휘합니다. OpenAI는 GPT-5.4 Thinking에 대해 정보 수집, 도구 이용, 검증, 최종 출력을 포함하는 다단계 작업을 안정적으로 수행하는 능력 개선을 설명했습니다. 검색을 동반한 BrowseComp에서는 GPT-5.2의 정답률 65.8% 대비 GPT-5.4가 82.7%를 기록했다고 보고되었습니다. Anthropic 역시 Claude Opus 4.6에 대해 긴 문맥으로부터 정보 획득과, 획득한 정보를 이용한 추론 개선을 공표했습니다. 이러한 결과는 검색 및 정보 통합 능력이 향상되었음을 보여줍니다. 다만, 검색의 시작 빈도를 직접 측정한 수치가 아니므로 모든 질문에서 검색이 자동으로 선행한다는 의미도 아닙니다.
또한, 현재 모델은 불확실성을 다루고 답변을 보류하는 능력도 개선되고 있습니다. 따라서 고전적인 '모르는 것을 아는 것처럼 설명하는' 현상이 줄어든 배경에는 추론의 개선, 불확실성에 대한 대응, 외부 정보 획득, 검증 과정 통합이라는 여러 변화가 있습니다. 이 중 어느 것이 얼마나 기여했는지는 모델과 시스템 구성, 대상 과제, 비교 방법에 따라 다릅니다. 중요한 것은 모델 자체의 내부 지식뿐만 아니라, 검색과 검증을 포함하는 정보 처리 시스템 전체로서 신뢰성을 평가하는 것입니다.
여전히 남아있는 오류의 성격
외부 정보를 획득할 수 있게 되었다고 해서 환각(Hallucination)이 사라진 것은 아닙니다. 획득한 정보 자체의 오류, 자료 오독, 근거와 결론의 불일치, 추론 도중의 오류 등이 남아 있습니다. 검색 결과에 기재된 사실을 정확하게 인용했더라도, 그것들로부터 도출할 수 없는 결론을 단정하면 답변 전체의 신뢰성은 손상됩니다. 다단계 추론에서는 중간에 채택한 잘못된 전제가 후속 판단으로 전파되어 자체 검증만으로는 수정되지 않는 경우가 있습니다. 2025년 연구에서도 긴 추론 과정에서 오류가 스스로 강화되는 사례가 보고되었습니다.
이러한 문제를 분석하기 위해서는 사실 조작(捏造), 자료에 대한 충실성 부족, 추론 오류, 근거 제시 실패, 자체 검증 실패를 구별해야 합니다. 단순한 계산 실수나 논리적 추론의 실패까지 모두 무조건 환각이라고 부르면, 원인과 대책이 불분명해집니다. 특히 검색을 수반하는 답변에서는 인용 출처가 존재한다는 것만으로는 충분하지 않습니다. 자료 자체가 신뢰할 만한지, 그 자료가 실제로 주장을 뒷받침하는지, 인용한 내용이 올바르게 해석되었는지까지 확인해야 합니다. 검색 증강 생성(RAG) 역시 잘못된 검색 결과에 영향을 받기 때문에, 근거 획득과 근거 검증은 별개의 품질 요건으로 다루어야 합니다.
기본 품질 및 품질 보증의 책임
정보 제공 시스템으로서의 AI에는 질문에 대한 적절한 대응, 사실의 정확성, 근거 제시, 불확실성의 적절한 표현이라는 **기본 품질(当たり前品質)**이 요구됩니다. 환각은 이러한 품질 요구사항을 위반하는 현상 중 하나입니다. 한편, 중요 사항의 누락, 지시 형식 위반, 질문 이탈 등도 품질을 저해할 수 있으므로, 환각과 전반적인 품질 불량은 동의어가 아닙니다. 환각은 현상의 분류이며, 기본 품질의 결여는 용도에 따른 요구사항을 충족했는지 여부에 대한 평가입니다.
현재의 기술 수준을 전제로 할 때, 답변 이전에 정보를 획득해야 하는 질문을 식별하고 적절한 근거를 바탕으로 답변하는 것 자체가 품질 요건이 됩니다. 검색 가능한 정보를 조사하지 않고 가상의 설명을 만들어낼 경우, 이전보다 시스템 측의 설계 문제가 더 중요하게 다루어집니다. 물론 검색이 불필요한 질문도 있으며, 외부 정보를 획득한다고 해서 반드시 정확한 것은 아닙니다. 품질 보증에서는 검색을 수행하는 판단, 정보원 선택, 근거와 답변 대조, 검증할 수 없을 경우 답변 보류를 일련의 처리 과정으로 평가해야 합니다. 전문 용어로서 환각이라는 단어를 사용하는 것이 품질 요구사항을 완화하는 이유가 될 수는 없습니다.
이용자의 인지 능력과 검증 부담
AI의 답변을 적절하게 다루기 위해서는 부자연스러운 부분에 알아차리는 능력, 자신의 지식 한계를 인식하는 능력, 근거를 대조하는 능력이 유용합니다. 특히, 자신에게 오류를 감지할 지식이 없다고 인식하지 못하면, 검증의 필요성을 느끼지 못한 채 답변을 받아들일 가능성이 있습니다. 이러한 자기 인식이 메타인지와 관련됩니다. 다만, 한 번 설명을 이해하지 못했다는 사실만으로 그 사람의 일반적인 지능이나 미래 습득 가능성을 단정할 수는 없습니다. 전문 분야에서는 고도의 판단이 가능한 사람도 미지의 분야에서는 정오를 가려내지 못하기 때문입니다.
기존의 활용법으로서 '수상한 부분을 지적하며 재질문하는 것'은 유효했지만, 그 방법은 수상하다고 판단할 수 있다는 것을 전제로 합니다. 현재는 AI 측에서 먼저 정보를 획득하고 근거를 확인함으로써, 이용자의 사후적인 검증 부담을 경감시킬 수 있게 되었습니다. 이는 인지 능력에 따른 활용 격차를 줄이는 방향의 진전입니다. 한편, 여러 자료를 비교하여 복잡한 결론을 평가하거나 AI에게 제시할 문제를 적절하게 설정하는 능력의 차이는 남아 있습니다. 중요한 판단에서는 재질문에만 의존하지 않고, 1차 자료나 독립적인 정보원과의 대조, 필요에 따른 전문가 확인을 조합하는 것이 합리적입니다.
AI 시대의 확산과 경제 격차
AI가 보급되는 것과 많은 사람이 AI를 적절하게 활용할 수 있는 것은 다릅니다. 총무성(総務省)의 2026년판 정보통신 백서에 따르면, 국내 생성형 AI 이용 경험률은 2025 회계연도 조사에서 **58.8%**였습니다. 반면, 다른 ICT 리터러시 실태 조사에서는 확인 문제 다섯 개 모두를 오답으로 제출한 사람이 39.5%였습니다. 이들은 서로 다른 조사이며, 후자는 AI의 환각(Hallucination) 탐지 능력을 직접 측정하지는 않지만, 이용 경험과 정보 평가 능력을 구분하여 파악할 필요성을 시사합니다. 앞으로는 AI의 답변을 검증하지 못한 상태에서 어느 정도 신뢰하는지를 직접적으로 측정하는 것이 중요합니다.
인지 능력의 차이는 AI 활용 성과를 통해 소득이나 자산의 격차로 파급될 가능성이 있습니다. 문제 설정, 추론 결과 평가, 업무 적용, 학습 및 투자 재투입에 차이가 있다면, AI로부터 얻는 이익 또한 달라지기 때문입니다. 다만, AI가 일부 기술 부족을 보완하는 효과도 무시할 수 없습니다. 2025년 『The Quarterly Journal of Economics』에 게재된 고객 대응 업무 연구에서는 AI 지원을 통해 평균 생산성이 약 15% 향상되었으며, 경험이나 직무 기술이 적은 담당자일수록 큰 개선을 보였습니다. 이는 특정 업무에서의 효과일 뿐이며, 사회 전체의 소득 및 자산 격차 방향을 직접적으로 보여주는 것은 아닙니다.
따라서 AI로 인한 경제적 격차를 논할 때는 인지 능력의 차이를 증폭시키는 효과와, AI가 검증 및 전문 기술을 보완하여 격차를 축소하는 효과를 동시에 평가해야 합니다. 검색과 추론이 고도화된다면, 고전적인 허위 정보를 간파하는 능력 부족은 과거만큼 큰 불리함이 아닐 수도 있습니다. 한편으로는, 더 고도한 업무를 설계하고 감독할 수 있는 사람이나, 얻어진 성과를 사업이나 자산으로 전환할 수 있는 사람이 유리해질 가능성도 있습니다. 격차의 귀결은 개인의 인지 능력뿐만 아니라 기술 설계, 교육, 직무 구성, 소득 분배, 자본 보유에 의해 좌우됩니다.
Discussion
