메모리에서 출발해 트랜스포머를 발명할 수도 있었다

선형 계층, MLP, 셀프 어텐션 을 모두 키와 값의 쌍을 저장하고 유사도로 검색하는 연상 메모리로 볼 수 있으며, 회상 과정의 간섭을 줄이는 방식으로 각 구조를 유도할 수 있음
메모리 용량 을 다른 기억의 간섭이 목표 신호만큼 커지기 전까지 저장할 수 있는 기억 수로 정의하면, 무작위 키와 값을 쓰는 외적 기반 선형 저장소의 용량은 키 차원 수 정도임
비선형 활성화 는 유사도가 낮은 키의 기여를 억제해 용량을 높이며, 64차원 키 실험에서 선형 저장소는 약 64개, 제곱 ReLU MLP는 약 2,700개의 기억을 저장함
셀프 어텐션 은 유사도에 지수함수를 적용하고 정규화하는 비모수적 메모리로, 같은 실험 조건에서 용량은 약 120만 개이며 문맥 길이에 따라 어텐션을 더 날카롭게 만들면 더 많은 기억을 구분할 수 있음
이 수치는 단일 계층의 무작위 벡터 회상 에 대한 추정치로, 실제 학습 데이터나 모델 전체의 지식 저장량을 직접 측정한 결과는 아님
연상 메모리와 용량의 정의
Astra가 이동 중에 Dune: Imperium 의 규칙을 다시 알려준 경험은 언어 모델이 얼마나 많은 정보를 기억하고, 얼마나 저장할 수 있는지에 대한 질문으로 이어짐
연상 메모리(associative memory) 는 유사성을 기준으로 기억을 찾는 함수 $f$이며, 기억 하나는 키 $k_i\in\mathbb{R}^{d_k}$와 값 $v_i\in\mathbb{R}^{d_v}$의 쌍임
입력 $x$로 질의하면 $f(x)$를 반환하며, 좋은 저장소는 $k_i$ 또는 그와 비슷한 벡터를 입력받았을 때 $v_i$를 회상함
저장한 기억이 많아질수록 다른 기억들이 회상을 방해하므로, 핵심 지표는 간섭 대 신호 비율 임
간섭의 크기가 목표 신호와 같아지는 시점의 기억 수를 용량으로 정의함
이하 추정은 주로 무작위 키와 값, 길이가 비슷한 값 벡터, 저장된 키를 그대로 사용하는 질의를 전제로 함
외적 기반 선형 저장소
가장 단순한 저장소는 각 키와 값의 외적 을 더한 행렬 $W=\sum_i v_i k_i^\top=V^\top K$임
새 기억은 $W$에 $vk^\top$를 더해 저장함
질의는 $f(x)=Wx=\sum_i v_i(k_i^\top x)$이며, 키와 질의의 유사도로 값들을 가중합함
입력과 출력이 함께 활성화될 때 가중치를 강화한다는 점에서 이런 누적을 헤브 학습(Hebbian learning) 이라고도 부름
경사하강법 한 단계 도 기억 쓰기로 해석할 수 있음
선형 계층 $y=Wx$에서 출력에 대한 손실 기울기를 $\bar y$라 하면, 갱신식은 $W\leftarrow W-\eta\bar yx^\top$임
이는 키 $x$, 값 $-\eta\bar y$인 기억을 쓰는 것과 같으며, Irie, Csordás & Schmidhuber 는 경사하강법으로 학습한 선형 계층을 모든 학습 입력에 대한 어텐션으로 나타냄
단위 길이 키 $k_j$로 질의하면 목표 값과 간섭 이 함께 반환됨
$f(k_j)=v_j+\sum_{i\ne j}v_i(k_i^\top k_j)$임
키가 모두 정규직교하면 간섭이 없지만, $d_k$차원에는 직교 방향이 $d_k$개뿐임
무작위 단위 키 사이의 유사도는 대략 $\pm1/\sqrt{d_k}$이고, 무작위 값들의 간섭은 랜덤 워크 처럼 누적됨
간섭 대 신호 비율은 대략 $\sqrt{M/d_k}$이므로 용량은 $M\approx d_k$임
64차원 키에서는 약 64개의 기억을 저장하면 간섭이 신호만큼 커짐
이 용량은 깨끗한 값 벡터를 복원하는 과제 에 대한 값임
간섭을 줄이는 두 경로와 최적 선형 저장소
용량을 늘리는 직접적인 방법은 키 차원 확대 이지만, 하드웨어 제약을 받음
알고리듬 측면에서는 다른 기억과의 간섭을 고려해 더 신중하게 저장하거나, 유사도가 낮은 기억을 억제해 더 선택적으로 회상할 수 있음
모든 기억을 동시에 잘 복원하도록 $\sum_i|Wk_i-v_i|2^2$를 최소화하면 선형 회귀 기반 저장소 가 됨
$M>d_k$이고 키가 전체 공간을 생성하면 최소제곱 해는 $W=V^\top K(K^\top K)^{-1}$임
외적 저장소와 달리 질의에 공분산 역행렬 을 적용해 백색화하므로, 여러 키가 공유하는 방향에 과도한 가중치를 주지 않음
$M\le d_k$이고 키가 선형 독립이면 $W=V^\top(KK^\top)^{-1}K$로 정확한 회상 이 가능함
키가 직교할 필요는 없으며, $M<d_k$에서는 여러 해 가운데 최소 노름 해임
$(KK^\top)^{-1}K$의 행은 원래 키의 쌍대 기저가 되어 목표 키만 선택함
두 경우 모두 의사역행렬을 사용한 $W=V^\top(K^\top)^+$로 통합할 수 있음
$M>d_k$에서는 투영행렬 $P=K(K^\top K)^{-1}K^\top$로 간섭을 분석할 수 있음
무작위 키에서 목표 신호의 가중치는 $P{jj}\approx d_k/M$임
$P^2=P$이므로 다른 기억의 가중치 제곱합은 $P_{jj}-P_{jj}^2$임
이에 따라 간섭 대 신호 비율은 $\sqrt{M/d_k-1}$ , 용량은 $2d_k$ 가 됨
64차원 수치 실험에서는 64개까지 정확히 회상하고, 약 128개 에서 용량에 도달함
최적 저장소가 상쇄하는 간섭은 고정된 기억 수에 해당하므로, $M$이 커질수록 단순 외적 저장소와의 차이가 줄어듦
선형 구조는 작은 유사도와 큰 유사도를 같은 비율로 조정하므로, 더 큰 개선에는 비선형 회상이 필요함
비선형 회상에서 MLP로
유사도에 비선형 함수 $\sigma$를 적용하면 $f(x)=V^\top\sigma(Kx)$가 되어 2계층 MLP 가 나옴
첫 번째 가중치 행렬의 행은 키, 두 번째 행렬의 열은 값에 해당함
Sukhbaatar et al. 은 피드포워드 계층과 메모리 저장소의 유사성을 짚었고, Geva et al. 은 학습된 트랜스포머에서 키가 식별 가능한 입력 패턴에 반응하는 현상을 확인함
ReLU 는 음의 유사도를 0으로 만들고, 편향을 추가하면 선택 임계값을 옮길 수 있음
무작위 키에서는 약 절반의 가중치를 제거하므로 간섭의 분산이 절반, 간섭 크기가 기존의 $1/\sqrt2$가 됨(Zhong et al. )
제곱 ReLU 는 0에 가까운 양의 유사도도 더 강하게 억제함
유사도 0.1은 0.01이 되지만 1은 그대로 유지되며, 대규모 모델에서도 검증된 활성화 개선 방식임(So et al. )
$\operatorname{ReLU}(Kx)^2=\operatorname{ReLU}(Kx)\odot Kx$이므로 게이트와 입력 투영이 가중치를 공유하는 GLU MLP로 볼 수 있음
현대 언어 모델의 SwiGLU는 게이트에 별도 가중치를 주고 ReLU 대신 Swish를 사용함
실제 MLP는 여러 사실이 같은 가중치를 공유하는 중첩 저장(superposition) 을 하며, 출력은 여러 기억의 혼합임
Garcia et al. 은 GLU 은닉 유닛이 무작위 특징 $\phi(x)$를 계산하고, 두 번째 행렬이 $\sum_i v_i\phi(k_i)^\top$를 저장하도록 구성해 은닉 유닛 수보다 훨씬 많은 사실을 저장함
학습된 트랜스포머의 ReLU MLP는 입력 하나에 은닉 유닛의 약 1%만 활성화되기도 하므로, 회상마다 전체 기억 중 작은 일부만 사용함(Li et al. )
원래 트랜스포머 논문의 v2 와 v3 도 피드포워드 계층을 일종의 어텐션 으로 연결했음
두 가중치 행렬을 키와 값, ReLU를 softmax의 대체물로 해석함
피드포워드 계층을 학습 가능한 키와 값에 대한 어텐션으로 바꾼 실험에서 번역 품질은 대체로 비슷했으며, 한 변형은 조금 나쁘고 다른 변형은 조금 좋았음
첫 번째 변형은 학습이 약 30% 느렸으며, 해당 설명은 이후 논문 버전에서 삭제됨
더 높은 거듭제곱으로 늘어나는 용량
$\sigma(s)=\operatorname{ReLU}(s)^p$를 쓰면 목표 신호는 $1^p=1$로 유지되고, 작은 유사도의 간섭은 대략 $d_k^{-p/2}$로 줄어듦
간섭 대 신호 비율 은 대략 $\sqrt{M/d_k^p}$, 용량은 상수 계수를 제외하면 $d_k^p$ 규모가 됨
각 방식의 간섭은 대체로 $\sqrt M$에 비례하므로 로그 그래프에서 기울기는 비슷하고 높이가 달라짐
64차원 키 실험 에서 활성화별 용량은 다음과 같음
선형은 $d_k$로, 약 64개임
ReLU는 $2d_k$로, 약 128개임
제곱 ReLU는 $2d_k^2/3$로, 약 2,700개이며 선형의 약 40배에 달함
게이트와 입력 투영의 가중치를 공유한 SwiGLU는 $\sigma(s)=s^2/(1+e^{-s})$이며, 용량은 제곱 ReLU와 비슷한 약 2,900개임
세제곱 ReLU는 $2d_k^3/15$로, 약 35,000개까지 저장 가능함
지수함수에서 셀프 어텐션으로
지수함수 $e^{\beta s}=\sum_{p=0}^{\infty}(\beta s)^p/p!$는 모든 차수의 거듭제곱 을 가중합하며, $\beta$가 선택의 날카로움을 조절함
64차원에서 $\beta=\sqrt{d_k}=8$로 두고 급수를 2개 항까지만 쓰면 상수항이 모든 기억에 가중치를 주어 용량이 약 40개로 선형보다 작음
3개 항은 약 450개, 4개 항은 약 3,100개이며, 완전한 지수함수는 이보다 훨씬 높은 용량을 보임
무작위 단위 키의 유사도를 평균 0, 분산 $1/d_k$의 가우스 분포로 근사하면 지수 가중치의 용량 을 계산할 수 있음
목표 기억의 가중치는 $e^\beta$, 다른 기억과의 상대 가중치는 $e^{\beta(s_i-1)}$임
간섭 대 신호 비율은 $\sqrt M,e^{\beta^2/d_k-\beta}$, 용량은 $M\approx e^{2\beta(1-\beta/d_k)}$임
$\beta$가 $d_k$보다 충분히 작을 때 용량은 $\beta$에 대해 지수적으로 증가함
$\beta=\sqrt{d_k}=8$이면 용량은 약 120만 개 로, 선형 저장소의 거의 2만 배임
더 긴 수치 실험에서도 약 120만 개에서 용량에 도달함
회상 간섭은 가중치의 절대 크기가 아니라 상대 비율 에 달려 있으므로, 가중치 합으로 정규화해도 간섭 대 신호 비율은 변하지 않음
수치 안정성을 위한 정규화로 $f(x)=V^\top\operatorname{softmax}(\beta Kx)$가 나오며, 이것이 셀프 어텐션으로 이어짐
실제 트랜스포머는 길이가 대략 $\sqrt{d_k}$인 키와 질의의 내적을 $\sqrt{d_k}$로 나누므로, 여기서 쓰는 단위 벡터의 $\beta=\sqrt{d_k}$와 대응함
질의 투영 $q=W_Qx$는 이 설명에서는 키 쪽에 흡수함
MLP의 키와 값은 학습된 가중치지만, 셀프 어텐션의 기억 은 문맥의 토큰에서 계산됨
토큰 하나가 기억 하나를 저장하므로 $M$은 문맥 길이임
기억이 모델 파라미터가 아니고 문맥과 함께 저장소가 커진다는 점에서 비모수적 메모리임
긴 문맥에서 어텐션의 날카로움 조절
기억 수가 늘면 $\beta$를 높여 유사도가 낮은 키를 더 강하게 억제할 수 있지만, 무조건 크게 설정할 수는 없음
$\beta\to\infty$이면 softmax가 가장 비슷한 키 하나만 고르는 미분 불가능한 argmax에 가까워짐
매우 큰 값에서도 softmax가 포화되어 다른 키로 흐르는 기울기가 사라지고 학습이 어려워짐
긴 문맥 기법들은 보통 학습 길이인 기준 길이 $L$ 에서 기존 값을 유지하면서, 문맥 길이 $M$에 따라 로짓 배율을 조정함
Su (2021) : 어텐션 엔트로피를 일정하게 유지하도록 모든 길이에서 $\log M/\log L$을 곱함
Scalable-Softmax : 같은 형태로 학습 가능한 $s$를 사용해 $s\log M$을 곱함
Qwen 의 LogN-Scaling: $M>L$일 때만 $\log M/\log L$을 적용함
Qwen2.5-1M 의 YaRN 어텐션 스케일링: $(0.1\log(M/L)+1)^2$를 곱해 대략 $(\log M)^2$로 배율을 높임
$L=1024$, 기준 $\beta=8$인 실험에서 200만 개의 기억 까지 용량 한계에 도달하지 않았음
기준 길이 이후 동일하게 작동하는 Su와 Qwen 방식은 간섭 대 신호 비율이 약 0.004까지 낮아짐
더 빠르게 배율을 높이는 YaRN은 약 $10^{-4}$까지 낮아짐
이 실험에서는 길이에 따른 배율 조정으로 서로 다른 키를 가진 기억을 사실상 제한 없이 늘릴 수 있었음
용량 추정의 범위와 실제 학습 모델
외적 저장소에서 간섭을 줄여 나가면 최적 선형 계층, MLP, 셀프 어텐션 으로 이어지며, 각 계층의 벡터 기반 키-값 저장 능력을 비교할 수 있음
이 분석은 학습 데이터와 실제 표현 을 고려하지 않음
단일 계층이 무작위 벡터를 얼마나 회상할 수 있는지만 세므로, 신경망 구조를 이해하는 여러 방법 중 하나임
학습된 계층의 정보량을 비트로 측정하는 연구와는 구분해야 함
Morris et al. 은 GPT 계열 모델이 파라미터당 약 3.6비트 를 암기한다고 추정함
모델이 용량을 채우면 일반화를 시작하고 각 학습 예제를 암기하는 양은 줄어드는 현상을 확인함
Allen-Zhu & Li 는 언어 모델이 파라미터당 약 2비트의 사실 지식 을 저장하며, int8 양자화에서도 이 수준을 유지한다고 확인함
연결되는 메모리 연구
계층별 정보 저장량 : 선형 저장소의 Nichani, Lee & Bietti , Barnfield et al. , 명시적으로 사실을 저장하는 MLP의 Dugan et al. , Garcia et al. , 간섭 대 신호 추정의 토대가 된 Zhong et al. 이 있음
Hopfield 네트워크와 지수적 용량 : 밀집 연상 메모리의 Krotov & Hopfield , Demircigil et al. , 어텐션과 연결한 Ramsauer et al. , 종합 리뷰인 Krotov et al. 이 있음
추론 중 갱신하는 단기 메모리 : fast weights , Mamba , Mamba-2 , DeltaNet , Gated DeltaNet , TTT layers , Titans , MesaNet , test-time regression 이 있음
MLP를 보완하거나 대체하는 거대 희소 파라미터 메모리 : product-key memories , Memory Layers at Scale , UltraMem , Mixture of A Million Experts , Engram 이 있음
가중치 밖에서 확장하는 비모수적 메모리 : kNN-LM , RETRO , Memorizing Transformers , growing nonparametric networks 가 있음
학습된 모델의 기억 탐색과 편집 : Geva et al. , Bietti et al. , ROME , MEMIT 가 있음
단기 메모리 압축과 장기 메모리 전환 : KVzip , gist tokens , Cartridges , attention matching 이 있음
지속 학습 으로 이어지는 방법에는 sparse memory finetuning 이 있음
댓글과 토론