처음 들으면 극단적으로 들릴 수 있는 주장이 있습니다: AI 환각(hallucinations)은 오직 소프트웨어만으로는 결코 완전히 해결되지 않을 것입니다. 제가 이것을 도발하기 위해 말하는 것이 아닙니다. 하드웨어 자체에 문제가 있을 수도 있기 때문에 이렇게 말씀드립니다.

일반적인 용의자들 (The Usual Suspects)
AI 환각에 대한 대부분의 논의는 알고리즘과 데이터, 즉 통계적 예측의 본질, 데이터 오염(data contamination), 추론 실패를 중심으로 이루어집니다. 모두 타당합니다. 하지만 저는 좀 더 근본적인 각도에서 접근해보고 싶습니다.

핵심 관찰 (The Core Observation)
폰 노이만 아키텍처(von Neumann architecture) 기반으로 구축된 디지털 컴퓨터는 물리적으로 이산적인 바이너리 논리입니다. 반면, 인간의 자연어는 연속적이고, 모호하며, 문맥에 의존합니다.

우리가 입력하는 의미론적 신호(semantic signals)는 하드웨어로 처리되기 위해 이산적인 0/1 시퀀스로 인코딩되어야 합니다. 인간 인지 능력의 광대한 회색 영역—불확실성(uncertainty), 의심, 조건부 상태—은 하드웨어 수준에서 본질적인 물리적 표현이 없습니다. '불확실성 레지스터'나 '판단 보류'와 같은 명령어가 존재하지 않습니다.

오늘날의 LLM(Large Language Models)에서 모든 신뢰도 추정(confidence estimation), 자기 성찰(self-reflection), 불확실성 정량화(uncertainty quantification)는 바이너리 비트 위에 구축된 소프트웨어 시뮬레이션일 뿐입니다. 출력 시점에도 여전히 가장 확률이 높은 단일 경로를 선택합니다.

어려운 질문 (The Hard Question)
만약 이 틀이 맞다면, 현재의 정렬(alignment) 및 해석 가능성(interpretability) 연구는 더 깊은 구조적 불일치 문제를 다루지 않고 소프트웨어 계층에서 증상만을 치료하고 있는 것은 아닐까요?

저는 이 연구들을 무시하는 것이 아닙니다. 이것이 우리가 가진 가장 실용적이고 효과적인 방향입니다. 다만 궁금한 점은, 물리적 설계와 입력 양식 사이에 근본적인 격차가 존재한다면, 소프트웨어만으로 그것을 완전히 메울 수 있느냐는 것입니다.

내가 고려한 반론들

정렬 (Alignment)에 주는 의미
만약 연속적인 의미가 이산적인 토큰 (discrete tokens)으로 압축될 때 실제로 줄일 수 없는 의미 정보의 손실이 발생한다면, 다음과 같은 상황이 됩니다:

• 정렬 (Alignment) 작업은 여전히 가치가 있습니다. 현재 우리가 가진 최선의 도구이기 때문입니다.
• 하지만 이는 증상을 치료하는 것일 수 있습니다. 즉, 인코딩 수준의 손실을 해결하기보다 출력값 (outputs)을 수정하는 데 그칠 수 있습니다.
• 그리고 한계에 부딪힐 수 있습니다. 만약 손실이 물리적 기질 (physical substrate)에 내재되어 있다면, 소프트웨어 계층의 패치만으로는 이를 완전히 복구할 수 없을 것입니다.

결론이 아닌, 하나의 제안
이것은 종결된 논쟁이 아닙니다. 저는 "이것이 정답이다"라고 말하는 것이 아닙니다. 제가 말하고자 하는 것은, "우리가 이 질문을 더 진지하게 던져야 하지 않을까?" 하는 것입니다.

엔지니어들은 계속해서 구축할 것이고, 연구자들은 계속해서 정렬 (aligning)할 것입니다. 그것은 좋은 일입니다. 하지만 이산적 하드웨어와 연속적 의미론 (continuous semantics) 사이에 근본적인 격차가 존재한다면, 우리는 비록 그 격차를 어떻게 메울지 아직 알지 못하더라도 최소한 그 존재를 인지하고 있어야 합니다.

내가 작업 중인 관련 프로젝트: 이러한 심층적인 질문들이 해결되지 않은 채 남아 있는 동안, 실질적인 단계로서 출력 단계의 불확실성을 처리하려고 시도하는 Yellow Light Mechanism이라는 소프트웨어 계층 프레임워크입니다.

원문은 llama.cpp 리포지토리의 Discussion #24950으로 게시되었습니다. 이 글은 더 넓은 독자층을 위해 각색된 버전입니다.