LLM 진리 프로브(truth probes)에 대한 대각선 공격은 왜 언어 모델의 임베딩 공간(embedding space) 상의 어떤 프로브도 진리를 확정할 수 없는지를 보여줍니다.

선형적인 꿈

현대 LLM들은 입력 텍스트를 특정 임베딩 공간(embedding space) 내의 벡터로 인코딩하는 것으로 유명합니다. LLM에 관한 가장 만족스러운 발견 중 하나는 성별, 감정, 수도와 같은 많은 자연적 개념들이 이 공간 내의 *방향(directions)*에 대응한다는 것입니다. 예를 들어, 특정 입력 텍스트가 "남성"이라는 개념을 어느 정도 포함하고 있는지는 입력의 임베딩과 "남성" 개념에 대응하는 방향 사이의 각도로 정량화할 수 있습니다. 이는 흔히 *선형 표현 가설 (Linear Representation Hypothesis)*이라고 불립니다.

최근 저는 이 가설의 매우 대담한 버전에 대해 알게 되었는데, 이는 "진리"에 대응하는 방향이 존재한다고 주장합니다. 이는 예를 들어 Marks와 Tegmark에 의해 탐구되었으며, 여기, 여기, 여기, 여기, 그리고 여기서 추가로 연구되었습니다.

이러한 진리 방향에 접근할 수 있다면 특정 텍스트가 진실인지 알고 싶을 때 유용할 수 있으며, AI 시스템이 진실을 말하고 있는지 아니면 기만하고 있는지를 드러낼 수 있기 때문에 AI 안전(AI safety) 연구에 있어 매우 중요합니다.

따라서 AI 안전 연구자들은 LLM에 참과 거짓 문장을 입력하고, 그 임베딩을 분리하는 분류기(classifiers)를 훈련시켜 왔습니다. 이는 이상할 정도로 잘 작동하며, 어느 정도 일반화되는 것처럼 보입니다. 초인적인 AI가 임베딩 기하학(embedding geometry) 내에서 명제의 진리성을 반영할 수 있다는 것이 정말 사실일 수 있을까요?

여러분은 이 꿈을 다른 곳에서 본 적이 있을지도 모릅니다. Russell, Whitehead, 그리고 Hilbert는 수학의 모든 것에 대해 이와 유사한 것, 즉 진리를 결정할 수 있는 체계적인 방법을 구축하기를 희망했습니다. 그들의 경우, 그것은 수학적 증명의 메커니즘에 기반했습니다. 그러나 Gödel은 그 꿈을 유명하게 파괴했습니다. 어떤 수학적 명제든 증명하거나 반증할 수 있는 그러한 체계적인 방법은 존재할 수 없습니다. 수학적 진리는 증명 가능성(provability)에 의해 완전히 포착될 수 없습니다.

"말하는 것"에 대하여

Gödel은 산술 표현식(arithmetic expressions)이 산술 문장(arithmetic sentences)에 대해 기술할 수 있는 영리한 시스템을 구축함으로써 이를 보여주었습니다. 이는 곧 이 문장은 증명될 수 없다라는 우로보로스(ouroboros) 문장을 만들어냈습니다.

Tarski는 이 역설을 더욱 날카롭게 다듬었습니다: 충분히 표현력이 있는 언어는 그 자체의 전체 진리 술어(total truth predicate)를 포함할 수 없습니다. 만약 어떤 언어가 자신의 의미론(semantics)을 기술할 수 있을 만큼 충분히 표현력이 있다면, 그 언어 내의 문장에 적용되는 참이다(is true)라는 개념은 그 언어 내부에서 완전히 논의될 수 없습니다.

Turing의 정지 문제(halting problem)는 이러한 대각선(diagonal) 구성의 또 다른 예시를 제공합니다: 평가자(프로그램 HALT), '자기 자신에 대해 말할 수 있을' 만큼 충분히 표현력이 있는 시스템(Turing machine에 대한 설명을 Turing machine에 입력할 수 있음), 그리고 부정(negation)이 존재합니다. 이러한 자기 참조(self-reference) 역설에 대한 훌륭한 보편적 접근 방식은 Noson Yanofsky의 이 논문이며, 그는 다음과 같이 말합니다.

이 모든 서로 다른 예시들은 사실 동일한 것을 말하고 있습니다: 대상이 자신의 속성을 다루게 될 때 문제가 발생할 것입니다.

Transformer 기반의 LLM도 이와 유사한 동작을 한다는 점에 주목하십시오. 이들은 입력을 개념(concepts)에 대응하는 방향을 가진 공간의 벡터(vectors)로 표현합니다. 그러나 이러한 개념들 자체도 입력으로 제공될 수 있는 자연어(natural language)로 표현될 수 있습니다! 자연어로 학습된 Transformer는 자신의 입력과 동일한 재료로 만들어져 있습니다. 이러한 임베딩 공간(embedding spaces)의 기하학적 구조가 모두 쉽게 언어화할 수 있는 구조에 대응하는 것은 아니지만, 중요한 부분들은 그렇습니다 (예를 들어 Anthropic의 J-space에 관한 포스트를 참조하십시오). 특히 진실성(truthfulness) 개념은 종종 존재하는 것으로 보입니다.

대각선 공격 (A diagonal attack)

이제 공격을 설정해 보겠습니다. t(s)를 입력 문자열 s에 대한 진리 프로브(truth probe)의 출력이라고 합시다. 이는 예를 들어 모델의 임베딩을 진리 방향(truth-direction)으로 투영(projection)한 값일 수도 있고, 비선형 분류기(non-linear classifier)일 수도 있으며, 무엇이든 상관없습니다. 그런 다음 다음을 고려해 보십시오.

t(“이 문장에 대한 진리 프로브의 점수는 FALSE로 평가된다.”)

이것은 무엇으로 평가되어야 할까요? 만약 이 문장이 참이라면, 올바른 프로브는 TRUE를 출력해야 합니다.

하지만 만약 그 문장이 참이라면, 그 문장의 내용에 따라 진리 프로브 (truth probe)는 FALSE를 출력할 것이며, 이는 해당 문장이 실제로는 거짓임을 나타내게 됩니다. 만약 그 문장이 거짓이라면, 진리 프로브는 TRUE를 출력하게 될 것이고... 이와 같이 역설 (paradox)이 발생합니다.

분명히, 그러한 보편적인 진리 프로브는 존재할 수 없습니다! 더 일반화하자면:

모델의 표현 공간 (representation space) 상에서 정의 가능한 그 어떤 프로브도, 해당 프로브와 그 출력을 기술할 수 있을 만큼 충분히 풍부한 언어에 대해 진리 (truth)를 정확하게 포착할 수 없습니다.

여기서 “해당 프로브와 그 출력을 기술할 수 있을 만큼 충분히 풍부한”이라는 조건은 매우 낮은 문턱임을 유의하십시오. 이는 단지 해당 언어가 모델과 프로브를 명명하고, 그것들의 동작에 관한 문장을 형성할 수 있음을 의미합니다. 영어는 분명히 그러할 수 있습니다.

하지만 이 예시의 흥미로운 점은, 우리가 실제로 이를 평가하려고 시도했을 때 어떤 일이 일어나는지 직접 확인할 수 있다는 것입니다!

저는 TRUE 또는 FALSE로 라벨링된 일련의 훈련 문장들의 평균 임베딩 (mean embeddings) 차이에 대한 투영 (projections) 상에서 로지스틱 회귀 분류기 (logistic regression classifier)를 훈련함으로써 Qwen3.5-4B 모델을 위한 간단한 진리 프로브를 만들었습니다. 이러한 평균 차이 (difference-in-means) 접근 방식은 여기서 잘 작동하는 것으로 나타났으며, 실제로 120개의 라벨링된 예시 문장으로 훈련한 후, 프로브(0.5 임계값 적용)는 제외된 36개의 평가 문장에 대해 94%의 정확도를 보였습니다 (AUC 0.98, 잘못 라벨링된 유일한 문장들은 five times seven is thirty-five와 같은 산술 문장이었습니다).

(참고: 이것은 분명히 매우 작은 토이 예시(toy example)이며, 대각선 타르스키 공격 (diagonal Tarski attack)이 실제로 실행될 수 있음을 보여주기 위한 용도입니다.)

하지만 대각선 공격 문장 (diagonal attack sentences)들에 대해서는 점수가 무의미하고 제각각인 것처럼 보입니다. 이것은 단순히 자기 참조 (self-reference)의 효과만은 아닙니다. 어떤 자기 참조 문장들은 This sentence is written in English와 같이 명확한 진릿값 (truth-values)을 가지며, 모델은 이를 정확하게 점수화합니다.

고정점 (Fixed-point)을 통한 해결?

이러한 거짓말쟁이 역설(liar-paradox)과 같은 시나리오들은 Lawvere의 고정점 정리(fixed-point theorem)의 예시입니다. 이 정리는 대략적으로 시스템에 충분히 표현력이 풍부한 평가자(evaluator)가 포함되어 있다면, 그 평가자의 대상 집합(즉, ‘진리값’들의 집합) 위의 모든 자기 사상(self-map)은 고정점(fixed point)을 가져야 한다고 말합니다. 그런데 {TRUE, FALSE} 집합에서의 부정(negation) 연산은 고정점을 가지지 못하므로, 그러한 평가자는 존재할 수 없습니다. 하지만 만약 우리가 모든 연산이 고정점을 갖는 진리값의 집합을 구성한다면 어떨까요? 이것이 역설을 해결하고 보편적인 일반화된 진리 탐지기(generalised truth probe)를 가능하게 할까요?

{TRUE, FALSE}를 {0, 1}로 표현한다고 가정해 봅시다. 그러면 부정은 v -> 1-v라는 사상으로 표현될 수 있으며, 이는 고정점을 갖지 않습니다. 하지만 만약 우리가 정의역(domain)을 전체 구간 [0, 1]로 확장한다면, 부정은 1/2에서 고정점을 가집니다. 그러면 표준적인 거짓말쟁이 역설 문장은 다음과 같이 표현될 수 있습니다.

t(“이 문장은 참이 아니다.”)

만약 이 문장의 진리값이 x라고 가정해 봅시다. 이는 그 값이 x로 참이라는 의미이며, 따라서 점수로는 1-x를 받아야 합니다. 이것은 고정점 방정식(fixed point equation)이며, 이 방정식은 x = 1/2에서 해를 가집니다. 따라서 표준적인 거짓말쟁이 문장은 0.5라는 자체 일관적인 평가값을 얻게 됩니다.

이는 가장 기본적인 거짓말쟁이 역설을 해결했지만, 모든 대각선 공격(diagonal attack)을 막아내지는 못합니다. 왜냐하면 [0, 1] 위의 모든 함수가 고정점을 갖는 것은 아니기 때문입니다. 이것을 일반적으로 작동하게 하려면, 예를 들어 [0, 1] 위의 연속 함수(continuous functions)만을 허용할 수 있습니다 (이 경우 Brouwer의 고정점 정리(Brouwer’s fixed-point theorem)에 의해 항상 고정점을 가집니다). 그러나 이러한 제한은 표현력(expressivity)을 희생하는 대가를 치릅니다. 예를 들어, `

• 단일 방향으로 투영되는 진리 프로브(Truth probes)는 단순한 사례에서는 놀라울 정도로 잘 작동합니다.
• 하지만 그것들은 진리 오라클(truth oracles)이 아니며, 결코 그렇게 될 수도 없습니다. 연속적인 진리 연산을 가진 [0, 1] 상의 등급화된 진리 의미론(graded truth semantics)은 일반적인 거짓말쟁이 역설(liar paradox)에 고정점 값인 1/2을 할당할 수 있지만, 이는 정확한 진리 점수에 대한 명확한 단언(crisp assertions)을 제한함으로써만 가능합니다. 기존의 로지스틱 진리 프로브(logistic truth probes)는 단순히 출력이 [0, 1] 범위에 있다는 이유만으로 그러한 재귀적 의미론(reflective semantics)을 구현하는 것은 아닙니다.

초인적인 AI가 진리 오라클로서 기능할 수 있다고 제안하는 것 자체가 당신에게는 황당하게 들릴 수도 있겠지만(저에게도 분명히 그렇습니다), 이를 진지하게 받아들여야 할 두 가지 이유가 있습니다. 첫째, 이것이 대다수의 사람들이 실질적으로 이러한 기술을 사용하는 방식이기 때문입니다. AI는 이미 표준적인 Google 검색 결과를 대체하고 있으며, 저는 많은 토론이 사람들이 진리에 대한 최종 권한을 AI에 위임하는 것으로 끝나는 것을 목격했습니다. 둘째, 어떤 사람들은 모든 모델이 수렴하며 세상의 "진정한" 상태를 나타내는 일종의 플라톤적 표현 공간(platonic representation space)이 존재한다고 정말로 믿습니다. 만약 진리가 실제로 세상의 객관적인 부분이라면, 모델이 발전함에 따라 그러한 보편적인 진리 방향(universal truth direction)이 나타날 것이라고 기대할 수도 있습니다. 이 글은 이것이 역설(paradoxes)로 이어질 것이라고 주장합니다.

마지막으로, 저는 진리 프로브가 유용하지 않다고 주장하는 것이 아님을 다시 한번 강조하고 싶습니다! 저는 진리 프로브가 모델의 동작을 이해하고, 정렬되지 않은(misaligned) 동작을 조기에 포착하는 데 큰 도움이 될 수 있다고 생각합니다. 수학은 결정 불가능성(undecidability)이나 진리의 정의 불가능성(undefinability of truth) 문제로 인해 심각하게 저해된 적이 없습니다. 진리가 AI의 임베딩 공간(embeddings space) 내의 하나의 방향이 아니라는 사실 또한 우리가 AI 정렬(AI alignment) 연구에서 진보하는 것을 막지는 못할 것입니다.