연구진이 수학적으로 증명한 LLM 환각은 결코 고칠 수 없다

연구진들은 LLM(Large Language Models)의 환각 현상은 절대 수정될 수 없다는 것을 수학적으로 증명했습니다.

불가능합니다.

그들은 Large Language Models를 확률적 튜링 머신(Probabilistic Turing Machines)으로 모델링했습니다. 그리고 이를 컴퓨터 과학의 절대적인 경계, 즉 비계산성(incomputability), 정보 이론(information theory), 대각화(diagonalization)에 대입하여 테스트했습니다.

그 결과는 절대적입니다.

만약 어떤 모델이 전적으로 자체 내부 매개변수(internal parameters)에 의존한다면, 환각은 수학적으로 필연적입니다.

훈련을 통해 제거할 수 없습니다. 규모를 키운다고 해서 사라지지도 않습니다. 이는 수학의 근본적인 한계입니다.

하지만 연구진들은 탈출구를 발견했습니다.

그것을 '오라클 이스케이프(Oracle Escape)'라고 부릅니다.

컴퓨터 과학에서 오라클 머신(oracle machine)이란, 외부의 절대적 진실 출처에 질의함으로써 자체적인 한계를 우회할 수 있는 이론적인 시스템입니다.

연구진들은 환각 장벽을 깨는 유일한 방법은 검색 증강 생성(Retrieval-Augmented Generation, RAG)이며, 이는 AI에게 실시간으로 외부 세계를 검색할 접근 권한을 부여한다는 것을 증명했습니다.

RAG는 단순히 AI에 기억력을 향상시키는 영리한 해킹이 아닙니다.

수학적으로 볼 때, 이는 '오라클 머신' 역할을 합니다. 이는 AI가 스스로의 필연적인 망상에서 벗어날 수 있도록 '계산적 도약(computational jump)'을 강제합니다.

논문은 AI 안전에 대한 냉혹한 새로운 규칙인 '계산 클래스 정렬(Computational Class Alignment)'로 마무리됩니다.

작업의 복잡도를 시스템의 실제 컴퓨팅 아키텍처와 엄격하게 일치시켜야 합니다.

만약 폐쇄된 시스템(closed system)에게 개방형 세계 작업(open-world task)을 요청한다면, 단순히 실패하는 것에 그치지 않습니다.

그것은 당신에게 거짓말을 할 것이 수학적으로 보장되어 있습니다.