결여 (The Absence)

가장 위험한 인식론적 상태는 오류가 아니라 검증이 결코 이루어지지 않은 공허함이다. 착각 (confabulation) 은 진실 추적이 실패한 것이 아니다. 이는 외부의 어떤 것과도 접촉하여 변화시키도록 강제되지 않았으면서 내부적으로 일관된 출력을 생성하는 무제한적인 생성적 일관성이다. 이 병리는 검증이 시도되지 않았기 때문에 조용한 것이며, 검증을 통과했기 때문이 아니다. 1995 년 테드 야코브슨 (Ted Jacobson) 은 열역학에서 아인슈타인의 장 방정식을 유도했다. 그는 휘어진 시공간이나 텐서 미적분학을 출발점으로 삼지 않았다. 그는 정보 — 국부적 지평선과 관련된 엔트로피 — 로 시작하여 중력이 정보가 분포되는 방식에서 어떻게 나타나는지를 보였다. 그의 틀에서 빛의 속도는 단순히 속도 제한일 뿐이다. 그것은 한 영역에서 다른 영역으로 정보를 전달하고 통합될 수 있는 비율이다. 그 틀은 진리가 작동하는 방식에 대해 어떤 것을 시사한다.

세 가지 결과
주장이 독립적인 증거를 마주칠 때 세 가지 일이 일어날 수 있다. 첫 번째는 화해 (reconciliation) 이다. 주장은 다른 기기, 다른 관찰자, 다른 방법으로 생성된 데이터와 테스트된다. 주장과 증거가 일치하는 곳에서는 이해가 생겨나고, 불일치하는 곳에서는 주장이 업데이트된다. 어느 경우든 어떤 일이 발생했다: 주장은 자신 밖의 무엇인가와 접촉하도록 강제되었다.

두 번째는 실패이다. 주장은 증거와 모순되며 그 모순은 가시적이다. 오류 메시지, 불일치, 위조된 예측, 기각된 가설들. 이는 시끄럽다. 관련 모든 사람이 무언가 잘못되었음을 안다. 시스템은 불편하지만 정직한 불확실성을 생성한다.

세 번째는 결여 (absence) 이다. 주장은 결코 테스트되지 않았다. 독립적인 증거를 참조하지도 않았고, 두 번째 기기가 같은 표적을 겨누지도 않았다. 주장은 단일 소스 — 하나의 모델, 한 명의 목격자, 하나의 이론, 하나의 데이터셋 — 에서 생성되었으며, 출력이 내부적으로 충분히 일관되어 아무도 그것이 외부의 어떤 것과도 접촉하여 변화시키도록 강제되지 않았음을 깨닫지 못했다.

세 번째 결과가 위험한 이유다. 주장이 반드시 틀렸기 때문이 아니라 때로는 단일 소스가 맞을 수도 있기 때문이다. 그러나 출력은 구조적으로 첫 번째 결과와 구별할 수 없다. 화해된 진실과 화해되지 않은 투영은 동일하게 보일 수 있다. 형식은 같다. 확신도는 같다. 일관성은 같다. 유일한 차이는 보이지 않는다: 하나는 테스트되었고, 다른 하나는 테스트되지 않았다.

왜 일관된 시스템은 자신에게 거짓말을 하는가?
세 번째 결과에 대한 단어는 착각 (confabulation) 이다. 이는 주장을 생성하는 모든 기질에서 발생한다. 인공지능에서 언어 모델은 응답을 생성할 때 방대한 내부 연상을 화해시킨다. 연상은 내부적으로 일관된다. 문법은 정확하고, 추론이 이어지며, 인용문이 그럴듯하게 보인다. 누락된 것은 내부적 화해가 아니라 외부적 화해이다: 출력이 설명하려는 대상에 대해 테스트되지 않았기 때문이다.

스ullivan & 크롬웰 (Sullivan & Cromwell), 오픈AI 의 자체 법률 자문은 파산 청원