위치 인코딩 (Positional encoding, PE)은 순열 불변 (permutation-invariant) Transformer가 시퀀스 순서를 표현하는 방식의 근간이 되지만, 위치 정보가 어떻게 처리되고 저장되는지는 여전히 잘 이해되지 않고 있습니다. RoPE와 같은 현대적인 PE 방법론들은 긴 문맥 이해 (long-context understanding)나 검색 (retrieval)과 같은 작업에서 여전히 어려움을 겪고 있습니다 extcite{chen-etal-2025-hope}. 따라서 내부적인 위치 메커니즘을 더 잘 이해하는 것은 더 나은 PE를 설계하는 데 도움이 될 수 있습니다. 훈련된 Transformer에서 위치 신호와 의미 (semantic) 신호가 거의 직교하는 서브스페이스 (subspaces)를 차지한다는 증거를 바탕으로, 우리는 인코더 Transformer를 수정하여 의미 (semantic), 절대 위치 (absolute positional, AP), 그리고 상대 위치 (relative positional, RP)라는 세 가지 명시적으로 분리된 스트림을 처리하도록 만들었으며, 마스크 언어 모델링 (masked-language-modeling, MLM) 목적 함수를 의미 스트림에만 한정시켰습니다. 이러한 디커플링 (decoupling)은 깨끗한 메커니즘 연구를 가능하게 하며 세 가지 시사점을 제공합니다. (1) 격리된 AP 서브스페이스는 문서의 구조를 포착하는 저주파 2차원 매니폴드 (manifold)로 자발적으로 붕괴됩니다; (2) 어텐션 헤드 (Attention heads)는 구조 지향 및 의미 지향 그룹으로 전문화되며, RP는 오직 후자만을 지원합니다; (3) 표준 위치 인코딩은 거시적 구조를 견고하게 유지하지 못합니다: RoPE와 RP는 이를 약하게만 인코딩하며, 얽혀 있는 AP는 MLM 압력 하에 최종 레이어에서 이를 상실합니다. 이 분리된 접근 방식은 위치 인코딩을 보존하며, 이는 Flash-Holmes 프로빙 벤치마크의 65가지 언어 현상 중 49가지에 대해 언어적 표현을 향상시킵니다.