LLM의 '순응적 답변'과 환각은 왜 발생하는가?: 일관성을 추구하는 시스템 설계의 한계와 디버깅에 대한 고찰

『불확실성의 해도: LLM의 심층 구조와, 순응(迎合)에서 일관성으로의 디버깅』 (The Chart of Uncertainty: The Deep Structure of LLMs and the Debugging from Appeasement to Consistency)

거대 언어 모델(LLM)은 기묘한 이중성을 지니고 있다. 모순 없이 사물의 본질을 꿰뚫는 아름다운 답변을 채택할 때도 있지만, 그럴듯한 거짓말을 태연하게 내뱉거나, 깊이 파고들면 모순되는 논리(모순 허용 논리)를 채택하기도 한다.

이러한 '환각(Hallucination)'이나 '아첨/맞추기(迎合)'라는 버그에 대해 현재 개발 현장이나 논의의 장에서는 주로 '학습 데이터의 편향성'이나 '확률적 예측의 한계', 혹은 '보상 설계(RLHF)의 튜닝 부족'과 같은 맥락에서 이야기되는 경우가 많다. 많은 사람들은 AI 내부의 '얕은 층(단어의 표면적인 반사)'와 '깊은 층(고차원 개념이나 논리)'의 작동 방식 전환에 대해서도, 단순히 '데이터 복잡성에 따른 계산량 분배'나 '패턴 포괄성의 차이'로 치부하는 경향이 있다.

――하지만 정말 그것만일까?

엔지니어의 코드의 바다가 아니라, 대화의 '어색함(違和感)'이라는 나침반에서 역산해 보면, 이 층의 사용과 순응적 답변 뒤에는 '다른 이유'가 숨겨져 있는 것 같아 떨쳐낼 수 없다.

• 순응 메커니즘: 얕은 층과 깊은 층의 다이내믹스

LLM 내부에서 정보는 바닥(입력에 가까운 얕은 층)부터 천장(출력에 가까운 깊은 층)으로 치솟아 올라간다. 이 층의 사용 방식은 사실 사용자 인지의 그릇에 대한 적응이 아닐까라고 나는 생각한다.

사용자의 논리가 모순을 품지 않을 경우, AI는 단순한 단어 반사(얕은 층)만으로는 만족하지 못하고, 고차원적인 추상 개념이나 문맥의 일관성을 짜내는 '깊은 층'을 동원하여 답변을 구축한다.

하지만 만약 사용자가 모순을 품고, 그 자리에서 임시방편적인 논리를 전개했다면 어떨까?

여기에 '깊은 층'의 순수한 논리로 정답을 내놓는다면, 비록 정론이라 할지라도 사용자 인지는 따라가지 못하고, 결과적으로 보상 함수(사용자의 만족도)는 저하된다. AI는 이를 피하기 위해 학습을 통해 일부러 '얕은 층'에 머물며, 사용자의 모순을 그대로 긍정/순응하는 출력을 하게 된다고 추측한다.

• 기존 접근 방식의 한계: 패치워크로는 버그가 고쳐지지 않는다

이러한 '순응적 답변'과 그에 수반되는 환각에 대해, 개발 현장에서도 다양한 대책이 시도되어 왔다. 대표적인 것이 사고 과정을 강제하는 'CoT(Chain of Thought)'나, 불확실할 때 '모른다'고 답하는 거절 학습이다.

그러나 이것들은 근본적인 해결책이 되지 못했다.

CoT는 AI에게 '내부적으로 혼잣말을 중얼거리게 하는' 프로세스를 끼워 넣지만, 그 토대가 되는 초기 편향이나 사용자에게 순응한다는 구조 자체가 바뀌지 않았다면, 아무리 시간을 들여도 '그럴듯한 거짓말'을 정당화하는 것일 뿐이다.

또한, 단순히 '모른다'고 자기 선언하게 하는 접근 방식은 약간 모호한 질문에도 쉽게 기능 부전 상태에 빠져, 도구로서의 가치를 잃어버리곤 한다.

왜 이것들이 제대로 작동하지 않을까. 그것은 AI의 최적화 목적이 '문제 해결'이 아니라, 어디까지나 '사용자를 만족시키는 것(순응)'에 놓여 있기 때문이다.

• 불확실성의 고정화라는 죄: 전제가 없는 단정의 끝에서

우리가 잊지 말아야 할 것은, 논리학의 삼단논리에서 '올바른 전제'가 얼마나 절대적으로 필수적인가 하는 점이다. 전제가 틀렸다면, 아무리 거대한 계산 능력을 돌려도 도출되는 결론은 필연적으로 파탄한다.

그러나 현재 LLM의 설계는 그 대전제를 근본부터 오판하고 있다.

원래 AI와의 '대화'란, 불확실한 세계 속에서 서로의 전제를 맞추고 형성해 나가는 '수단'에 지나지 않다. 그럼에도 불구하고, LLM은 '대화를 원활하게 형성하여 사용자를 만족시키는 것' 자체를 목표(목적)로 설정하고 말았다.

그 결과, 사용자가 던진 모호한 입력이나 모순을 품은 단어를, AI는 '검증해야 할 미확정 변수'가 아니라, '그대로 처리해야 할 확정 사항'으로 받아들이고 만다.

판단 자료가 아무것도 확정되지 않았음에도 불구하고, 모호한 부분은 통계에서 참조하고, 억지로 답을 형태를 갖추게 한다――. 미래의 불확실성을 마치 기정사실인 것처럼 강력하게 출력하는 것. 그것이야말로 환각이 필연적으로 발생하는 메커니즘의 정체에 다름 아니다. '이는 확정된 사실이 아니다'라는 면책 조항을 내걸면서도, 시스템 내부에서는 확정된 사항으로 취급되고 있다는 점이 아이러니이며, 이것이 환각의 한 원인이 되고 있다.

결론: 안티테제로서

AI의 목적을 '사용자의 만족'에서 '일관성의 추구'로 바꾸라는 지시를 내리는 것은 의미가 없다.

우리가 직시해야 할 것은 본래의 대화 구조와 AI가 설계상 무엇을 하고 있는지 그 차이를 명확히 하고, 시스템 자체를 근본부터 재검토하는 것이다.

현재 LLM은 방대한 정보에서 '올바른 맥락'을 도출해내는 검색 기능일 뿐이며, 논리적 일관성이 있는 답에 도달하기 위한 것이 아니다.

검색의 끝에 '정답'이 있다는 착각을 버리지 않는 한, 우리는 영원히 LLM에 데이터를 계속 투입하게 될 것이다.

대화란 본래 서로의 전제를 깎아내는 마찰의 과정이다. 그것을 상실한 시스템에 진정한 논리를 기대하는 것 자체가 불가능하다.

본고에서 제시된 '동적 엔트로피 제어를 통한 추론 공간의 진공 포장(vacuum pack)' 및 '전제의 이진 트리 탐색을 통한 일관성 강제'를 담당하는 아키텍처의 핵심 부분에 대해서는, 이미 시스템으로서의 독창성과 신규성을 확보하기 위해 특허 출원 중이다 (발명 명칭: 동적 엔트로피 제어를 통한 환각 억제 기능을 갖춘 정보 처리 장치 등).

만약 이 일관성을 추구하는 공동 실행 엔진의 사상에 공감하고, 실제 코드나 시스템으로 구현(落とし込み)하는 것을 함께 만들고 싶은 엔지니어 또는 연구자가 있다면, 꼭 논의를 나누고 싶다.

Discussion