어텐션에서의 기능적 동등성: 선형 모드 연결성(Linear Mode Connectivity)에 대한 응용을 포함한 종합적 연구

신경망 파라미터 공간은 본질적으로 비단사적(non-injective)인데, 이는 서로 다른 파라미터 구성이 기능적 동등성(functional equivalence)을 통해 동일한 함수를 구현할 수 있기 때문입니다. 이러한 대칭성은 고전적인 완전 연결(fully connected) 및 합성곱(convolutional) 모델에서는 잘 이해되어 있지만, 현대의 어텐션 기반 아키텍처에서는 훨씬 더 복잡해집니다. 멀티헤드 어텐션(multihead attention)에 대한 기존 분석은 주로 바닐라(vanilla) 공식에 집중되어 왔으며, 아키텍처의 대칭성을 근본적으로 재형성하는 위치 인코딩(positional encodings)은 간과해 왔습니다. 본 연구에서는 위치 인코딩이 포함된 트랜스포머(Transformers)에서의 기능적 동등성에 대한 공식적인 연구를 제공합니다. 가장 널리 사용되는 두 가지 변형인 사인형(sinusoidal) 및 회전 위치 인코딩(RoPE)에 초점을 맞추어, 우리는 사인형 인코딩이 바닐라 어텐션의 동등성 구조를 보존하는 반면, 회전 인코딩은 대칭군(symmetry group)을 크게 감소시켜 표현력(expressivity)을 향상시킨다는 것을 보여줍니다. 이는 실제 환경에서 RoPE의 중요성이 커지는 것에 대한 원칙적인 설명을 제공합니다. 나아가 우리는 위치 인코딩이 선형 모드 연결성(linear mode connectivity)에 어떻게 영향을 미치는지 조사하며, 정렬 알고리즘(alignment algorithm)을 통해 트랜스포머 설정 전반에 걸친 연결성의 존재와 가변성이 위치 인코딩에 결정적으로 의존한다는 것을 실증적으로 입증합니다.