RoPE가 Retrieval Heads를 방해하거나 저하시키는가? 모델 제품군에 걸친 기계론적 분석

이전 컨텍스트에서 현재 위치로 정보를 복사하는 어텐션 헤드인 Retrieval heads는 긴 컨텍스트 회상 (long-context recall)을 위한 기계론적 기질 (mechanistic substrate)로 제안되어 왔습니다. Rotary position embeddings (RoPE)는 기본 하이퍼파라미터 $\theta$에 따라 감쇠하는 주파수로 쿼리 (queries)와 키 (keys)를 회전시키며, 이러한 회전이 retrieval heads의 형성을 방해하거나 그 기능을 저하시킨다는 것이 자연스러운 가설입니다. 우리는 multi-head attention 및 grouped-query attention을 아우르는 4개의 open-weight 7-8B 모델과 100배 범위의 $\theta$를 대상으로, paired-seed needle-in-a-haystack 테스트, layer-clustered permutation, 그리고 causal head-masking을 사용하여 이 두 가지 가설을 모두 테스트합니다. (i) Retrieval heads는 인과적으로 필수적입니다: OLMo-2에서 탐지된 87개의 헤드를 마스킹하면 회상 성능이 1.00에서 0.00으로 붕괴되는 반면, 일치하지 않는 무작위 헤드를 마스킹하는 것은 효과가 없습니다; 이는 Qwen에서도 재현됩니다. (ii) 더 높은 $\theta$는 retrieval-head의 수를 줄이지 않습니다 ($\theta=500K$인 LLaMA-3.1은 47개의 헤드를 가지며, $\theta=10K$인 LLaMA-2는 42개를 가짐). 이는 방해 가설 (prevention hypothesis)을 반박합니다. (iii) norm-utility 관계는 모델 제품군마다 다르며 서로 반대 방향으로 유의미합니다 (Qwen $d=-0.49$, OLMo $d=+0.50$, 둘 다 유의미함; LLaMA는 유의미하지 않음). OLMo와 LLaMA-3.1은 $\theta=500K$를 공유함에도 불구하고 결과가 다르기 때문에, 이 효과는 $\theta$에 의해 주도되는 것이 아닙니다. (iv) Chiang과 Yogatama (2025)의 연구를 바탕으로 한 통제된 패치 (controlled patch) 실험 결과, retrieval heads의 가장 낮은 주파수 RoPE 차원을 0으로 만들면 회상 성능이 용량 의존적 (dose-dependently)으로 저하됨을 보여줍니다 (128개 차원 중 32개를 0으로 만들었을 때 1.00에서 0.18로 저하, 무작위 차원의 경우 0.98). 이 효과는 헤드 특이적이며 작업 특이적입니다. 인과적 변수는 norm-utility가 아니라 RoPE 주파수입니다. 이 방향성은 4개의 계보와 2개의 규모에 걸쳐 패치된 5개 모델(OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral) 모두에서 유지됩니다. 우리는 모델 간의 크기(magnitude)가 동일하다고 주장하지는 않습니다. 코드와 paired-seed harness가 공개되었습니다.