트랜스포머에서의 기하학적 사실 회상 (Geometric Factual Recall in Transformers)

요약

본 논문은 트랜스포머 모델이 사실적 연관 관계를 어떻게 기억하는지에 대한 대안적인 관점을 제시합니다. 기존의 가중치 행렬 기반 암기 방식 대신, 임베딩 자체가 관계 구조를 직접 인코딩하고 MLP가 관계 조건부 선택기 역할을 하는 '기하학적' 암기 방식을 제안합니다. 연구진은 이 기하학적 접근법이 단일 레이어에서 로그 스케일의 차원만으로도 충분함을 증명했으며, 이를 다중 홉 추론과 연결하여 용량-깊이 트레이드오프를 분석했습니다.

핵심 포인트

• 트랜스포머의 사실 기억은 가중치 행렬 기반 암기 외에 '기하학적' 구조 인코딩 방식으로도 가능하다.
• 주체 임베딩은 관련 속성 벡터들의 선형 초포(linear superpositions)로 구성되며, MLP는 관계 조건부 선택기 역할을 수행한다.
• 이 기하학적 접근법은 단일 레이어에서 로그 스케일의 임베딩 차원만으로도 충분함을 이론적으로 증명했다.
• 모델은 특정 사실을 암기하는 것이 아니라 일반적인 '선택 메커니즘'을 학습하여 제로샷 추론 능력을 갖는다.