트랜스포머 언어 모델은 어떻게 사실적 연관 관계를 암기할까요? 일반적인 관점은 내부 가중치 행렬을 임베딩 쌍에 대한 연관 기억으로 간주하며, 이는 사실의 수에 선형적으로 비례하는 매개변수 수를 요구합니다. 우리는 대안적인, 즉 extit{기하학적} 형태의 암기에 대한 이론적 및 경험적 설명을 개발했습니다. 이 방식에서는 학습된 임베딩이 관계 구조를 직접 인코딩하며, MLP는 질적으로 다른 역할을 수행합니다. 단일 레이어 트랜스포머가 주체(subject)에서 공유 속성 집합으로 가는 무작위 전단사 함수(bijections)를 암기해야 하는 통제된 환경에서, 우리는 로그 스케일의 임베딩 차원만 충분함을 증명합니다. 여기서 주체 임베딩은 자신과 관련된 속성 벡터들의 extit{선형 초포(linear superpositions)}를 인코딩하며, 작은 MLP는 연관적 키-값 매핑으로 작동하는 것이 아니라 ReLU 게이팅을 통해 관련 속성을 추출하는 관계 조건부 선택기(relation-conditioned selector) 역할을 합니다. 우리는 이러한 결과를 다중 홉(multi-hop) 설정—예: 'x의 아내의 어머니는 누구인가?'와 같은 관계 질의 체인—으로 확장하여, 생각의 사슬(chain-of-thought) 유무에 따른 구성과 함께 증명 가능한 용량-깊이 트레이드오프를 제공하며, 이는 일치하는 정보 이론적 하한(information-theoretic lower bound)으로 보완됩니다. 경험적으로 볼 때, 경사 하강법(gradient descent)은 정확히 예측된 구조를 가진 해답을 발견합니다.

학습된 후, MLP는 주어 임베딩(subject embeddings)이 적절하게 재초기화될 때 완전히 새로운 전단사(bijections)로 제로샷(zero-shot)을 전달하며, 이는 특정 사실들의 집합을 암기한 것이 아니라 일반적인 선택 메커니즘을 학습했음을 보여줍니다.