위치 기반 대 상 기호 기반 어텐션 헤드: 학습 역학, RoPE 기하학, 그리고 길이 일반화

Transformer 기반 언어 모델은 오늘날 사회에 널리 퍼져 있습니다. 따라서 이 모델들이 구조화된 작업을 해결하는 메커니즘을 이해하고, 새로운 시나리오에서 어떻게 행동할지 예측하는 것은 안전한 배포를 위해 매우 중요합니다. 우리는 구조적으로 동일한 두 가지 멀티홉 추론 (multi-hop reasoning) 작업, 즉 위치 추론 (positional reasoning)이 필요한 숫자 작업 (number task)과 기호 추론 (symbolic reasoning)이 필요한 문자 작업 (letter task)에 대해 디코더 전용 Transformer (GPT-J)를 학습시킴으로써 통제된 환경에서의 어텐션 헤드 (attention heads)의 학습 역학 (learning dynamics)을 연구합니다. 주어진 프롬프트에 대해 어텐션 헤드의 동작을 위치 기반 (positional) 또는 기호 기반 (symbolic)으로 분류하는 최근 도입된 지표를 사용하여, 우리는 성공적인 학습이 순수 헤드 (pure heads), 즉 위치 기반 또는 기호 기반 중 하나로 자신을 표현하는 헤드의 출현과 연관되어 있음을 보여줍니다. 작업의 구조적 동등성에도 불구하고, 이들은 서로 다른 메커니즘적 요구 사항을 부과합니다. 숫자 작업은 위치 기반 및 기호 기반 헤드 모두를 필요로 하는 반면, 문자 작업은 기호 기반 헤드만을 필요로 합니다. 그런 다음 우리는 이러한 헤드들의 계산적 역할 (computational roles)을 식별하고, 이들이 구현하는 기본 기능을 특성화하며, 단일 레이어 RoPE 기반 어텐션이 기하학적으로 해석 가능한 쿼리 (query), 키 (key), 값 (value) 연산을 통해 어떻게 이러한 기능들을 실현할 수 있는지 보여주는 이론적 구성을 제시합니다. 이 분석은 불일치 (discrepancy)라는 새로운 개념을 통해 공식화된, 더 긴 시퀀스에 대한 강건성 (robustness) 측면에서의 위치 기반 메커니즘과 기호 기반 메커니즘 사이의 정량적 분리를 산출합니다. 우리는 통제된 모델과 실제 모델 모두에서 결과적인 예측을 경험적으로 검증하여, 기호 기반 메커니즘은 더 긴 시퀀스로 더 안정적으로 외삽 (extrapolate)하는 반면 위치 기반 메커니즘은 더 급격한 한계에 직면함을 보여줍니다.