결합 진동자 네트워크에서의 동기화를 통한 어텐션

우리는 에너지 제약이 있는 물리적 기판 상의 트랜스포머 어텐션을 다룹니다. Softmax 어텐션은 지수 함수 계산과 전역 감소(global reduction)를 필요로 하는데, 이는 von Neumann 하드웨어에서 높은 에너지 비용을 유발하며 자연스러운 물리적 아날로그가 없습니다. 우리는 쿠라몬토 동기화 역학(Kuramoto synchronization dynamics)(전기적, 기계적, 초전도체, 전하 밀도파 진동자 배열 등 다양한 물리 시스템에서 발생하는)이 이러한 과정 없이 잘 정의된 어텐션 연산을 구현함을 보여줍니다. 그 결과로 얻어진 메커니즘인 고정 쿼리(fixed-query) 진동자 어텐션은 Softmax의 산술 계산을 구면 상에서의 기울기 흐름 평형화(equilibration of a gradient flow on the sphere)로 대체합니다: 쿼리는 구면에 고정된 학습 가능한 앵커이며, 자유 진동자는 쿠라몬토-로헤 역학(Kuramoto-Lohe dynamics) 하에서 진화하다가 코사인 유사도(cosine similarity)를 통해 어텐션 가중치를 인코딩하는 위치에 안착합니다. 계산이 평형화 과정이기 때문에 지수 함수 계산을 필요로 하지 않으며, 유일한 전역 연산은 판독 시의 아핀 정규화(affine normalization)뿐입니다. 고정점은 증명 가능하게 유일하며 거의 모든 초기 조건에서 전역적으로 인력이 존재한다는 보장(guarantee)이 있어 모든 물리적 구현에 걸쳐 유지됩니다. 경험적으로, 최소 하드웨어 구성(진동자 차원 $d_{ ext{osc}}$ = 2)에서 진동자 어텐션은 키워드 스포팅(keyword spotting)에서 Softmax보다 성능이 우수하며 (+1.00 pp), 주어-동사 일치(subject-verb agreement)에서도 우수합니다 (난이도 높은 문장에서 +5.27 pp, Softmax 대비 훈련 실패율 1/5 대 0). 인과 언어 모델링(causal language modeling)의 경우, Softmax가 여전히 이점을 유지하지만, 진동자 어텐션은 $d_{ ext{osc}}$가 증가함에 따라 격차를 줄입니다: WikiText-2에서 $d_{ ext{osc}}$ = 2일 때 +11.09 PPL에서 $d_{ ext{osc}}$ = 32일 때 +2.98 PPL로, 그리고 TinyStories에서 $d_{ ext{osc}}$ = 2일 때 +2.39 PPL에서 $d_{ ext{osc}}$ = 32일 때 +0.57 PPL로 개선됩니다. 본 연구의 주요 목표는 소프트웨어에서 Softmax를 대체하는 것이 아니라, 물리적 기판 상에서 정확한 어텐션을 위한 수학적으로 근거가 있는 청사진을 제공하는 것입니다.