그림자의 기하학: 다리 난간이 LLM의 수학에 가르쳐준 것

한 아침 달리기를 하던 중, 나는 돌다리 난간이 드리운 그림자를 멍하니 바라보았다. 그 난간에는 동일하게 조각된 속을 파낸(hollowed-out) 구조물들이 일렬로 늘어서 있었다. 내가 지나가자 태양의 각도가 바뀌었고, 땅바닥에 비친 그림자들이 변모했다.

한순간에는 그림자가 헤엄치는 물고기처럼 보였고, 몇 걸음 후에는 출렁이는 파도처럼 보였다가, 또다시 시간이 흐르자 그저 추상적이고 길게 늘어진 덩어리만 남았다.

문득 나는 인간의 언어—그리고 대규모 언어 모델(Large Language Models, LLMs)—이 의미를 생성하는 방식을 보여주는 완벽한 물리적 은유를 목격하고 있다는 생각이 들었다.

돌다리 구멍은 개념이다. 햇빛은 문맥이다. 땅바닥의 그림자는 발화(utterance)이다.

이 깨달음은 Joseph L. Breeden의 논문, 『대규모 언어 모델의 단순 수학 (The Simple Mathematics of Large Language Models)』에서 일반적으로 사용되는 전문 용어를 아름답게 덜어낸 "중심 문제(Central Problem)"를 완벽하게 반영한다.

단일 그림자의 문제

Breeden은 자신의 논문에서 초기 AI 접근 방식의 근본적인 결함을 지적한다. 바로 단어를 정적이고 변하지 않는 기호로 취급하는 것이다. 그는 **"bank"**라는 단어의 고전적인 예를 사용한다:

1. "I deposited money at the **bank_."_ (금융 기관)
2. "We walked along the river **bank_."_ (강 옆의 땅)
3. "The plane **banked* sharply left."* (기체가 기울어짐)

만약 우리가 고차원 공간에서 "bank"라는 단어에 하나의 고정된 벡터를 할당한다면, 우리는 본질적으로 세 가지 의미를 모두 하나의 정적인 형태로 담으려고 시도하는 것이다. 그러나 Breeden이 지적하듯이, "bank"의 고정된 벡터는 동시에 "돈," "강," 그리고 "기울임"과 가깝게 존재할 수 없다.

나의 달리기 은유에서, 단일하고 고정된 벡터는 정오에만 다리 구멍을 보는 것과 같다. 오직 하나의 특정 그림자만을 얻는다. 하지만 언어는 역동적이다. "bank"의 의미는 주변 단어들이 제공하는 '빛의 각도'에 전적으로 달려있다.

빛의 수학: 학습된 가중 평균 (Learned Weighted Averaging)

LLM은 이것을 어떻게 해결할까요? Breeden에 따르면 Transformer의 핵심 메커니즘은 마법이 아니며, **학습된 가중 평균(Learned Weighted Averaging)**입니다.

Breeden의 수학적 개념을 다리 난간에 비유해 보겠습니다:

1. 다리 구멍 (토큰 임베딩, $e$)
어떤 문맥도 적용되기 전, "bank"라는 단어는 단순히 초기 임베딩 벡터($e$)일 뿐입니다. 이것은 물리적인 돌 구조 자체입니다. 이 벡터는 모든 의미의 잠재력을 담고 있지만, 현재 환경에 의해 형태가 잡히지 않은 상태입니다.

2. 햇빛의 각도 (영향 점수, $a_i \cdot b_j$)
그림자가 어떻게 보일지 결정하려면 빛이 필요합니다. LLM에서 "빛"은 주변 단어(문맥)로부터 옵니다. Breeden에 따르면 모델은 목표 단어와 그 문맥 사이의 **영향 점수(influence score)**를 계산합니다. 이는 벡터들을 학습된 행렬($W^A$ 및 $W^B$)을 통해 투영함으로써 수행됩니다.

• 문맥이 "예금된 돈"일 때, "빛"은 금융적인 각도에서 다리 구멍에 비춥니다.
• 문맥이 "강"일 때, 빛은 지리적인 각도에서 그곳을 비춥니다. 내적($a_i \cdot b_j$)은 빛의 각도가 구멍의 모양과 얼마나 완벽하게 일치하는지를 측정합니다.

3. 땅 위의 그림자 (문맥 의존적 표현, $h_i$)
마침내 빛이 구멍을 통과하여 그림자를 드리웁니다. 수학적으로 모델은 문맥 벡터들의 가중 평균(콘텐츠 투영 $W^C$ 사용)을 취하며, 그 결과 완전히 새로운 벡터($h_i$)가 생성됩니다. 이 새로운 벡터가 바로 그림자입니다. 이것은 **문맥 의존적 표현(context-dependent representation)**입니다. 첫 번째 문장의 "bank"는 수학적으로 금융의 기하학으로 끌어당겨지고; 두 번째 문장의 "bank"는 자연의 기하학으로 끌어당겨집니다. 이들은 같은 재료이지만 완전히 다른 산출물입니다.

이 비유가 중요한 이유

브리든(Breeden)의 설명이 심오한 이유는 '쿼리(Queries)', '키(Keys)', '값(Values)'와 같은 의인화된 전문 용어를 제거하기 때문입니다. 컴퓨터 안에 정보 데이터베이스에서 정보를 '찾아보는' 작은 사람 모양의 존재는 없습니다.

거기에는 오직 기하학과 빛만이 있을 뿐입니다.

LLM이 문장 _"The plane banked sharply left,"_를 읽을 때, 그것은 비행기가 무엇인지 '알지' 못합니다. 대신, "plane"과 "sharply left"에 대한 고차원 벡터들이 특정한 각도의 빛처럼 작용합니다. 이 빛은 "bank" 다리 구멍을 통과하며 모델의 잠재 공간(latent space) 내 "물리적 움직임(physical motion)" 영역과 완벽하게 일치하는 그림자를 드리웁니다.

더 나아가, 이는 언어 간의 차이를 설명합니다. 영어에서 "bank"는 복잡하고 역동적인 조명(Attention mechanisms)을 필요로 하는 단일한 다목적 다리 구멍입니다. 반면 중국어는 이미 세 개의 분리되고 뚜렷한 다리 구멍을 가지고 있습니다: 银行 (은행), 岸 (강둑), 그리고 倾斜 (기울다). 중국어 모델은 물리적인 구조 자체가 이미 분해되어 있기 때문에 더 적은 '빛 조작'만 필요합니다.

결론: 의미는 투영(Projection)이다

제가 달리기를 마칠 무렵, 다리 난간이 단순히 그림자를 드리우는 것이 아니라 물리적인 투영을 수행하고 있다는 것을 깨달았습니다.

거대 언어 모델은 정의의 사전을 저장하지 않습니다. 그들은 개념들의 고차원 기하학을 저장합니다. 의미는 손에 쥘 수 있는 정적인 물체가 아닙니다. 그것은 투영입니다. 이는 문맥의 빛이 언어의 구조를 통과할 때 드리워지는 역동적이고 수학적인 그림자입니다.

그리고 포장도로 위의 그림자처럼, 언어의 아름다움은 돌 자체에 있는 것이 아니라 그 빛에 따라 어떻게 변화하는지에 있습니다.

참고문헌:
Breeden, J. L. (2026). The Simple Mathematics of Large Language Models. CRC Working Papers.