토큰은 군의 원소이다: 행렬 Lie 군에 대한 Lie-Algebra Attention에 관하여

우리는 어텐션 토큰을 군(group) 위에 배치합니다. 즉, 토큰은 행렬 Lie 군(matrix Lie group) $G$의 원소 $g_i$이며, 특징 페이로드(feature payload)나 이를 운반하는 외부 작용 $ρ(g)$가 없는 순수한 변환(bare transformation)입니다. 우리가 알기로 이는 토큰이 순수한 행렬 Lie 군 원소인 최초의 어텐션 구조입니다. 이들의 점수(score)는 학습된 커널(kernel)이 아닌 상대적 포즈(relative pose)의 폐형(closed-form) 대수 노름(algebra norm)이며, 모든 기약 표현(irrep) 또는 전사 지수(surjective-exp) 기반 방식이 배제해야만 하는 아핀 전체 프레임 군(affine full-frame groups)에 도달합니다. 우리는 이를 Lie-Algebra Attention이라고 부릅니다. 일단 토큰이 군의 원소가 되면, 나머지 과정은 일반적인 표현론적(representation-theoretic) 기법 없이도 뒤따릅니다. 한 쌍의 상대적 기하학(relative geometry)은 $g_i^{-1} g_j$로 정형화(canonical)되어 있으므로, 쌍별 불변량(pairwise invariant) $w_{ij} = \log(g_i^{-1} g_j)$는 설계된 것이 아니라 본질적입니다. 대각 $G$-작용(diagonal $G$-action)에 대한 등변성(equivariance)은 자명하며, 코사이클 조건(cocycle condition)은 자동으로 성립합니다. 어텐션 점수는 음의 제곱 대수 노름(negative squared algebra norm)인 $s_{ij} = -|\log(g_i^{-1} g_j)|_{\lambda}^2/\tau$입니다. 이는 블록 가중 Frobenius 내적(block-weighted Frobenius inner product) 하에서의 정형적 근접 커널(canonical proximity kernel)이며, 기약 표현(irreducible representations), 구면 조화 함수(spherical harmonics), 클레브슈-고르단 곱(Clebsch-Gordan products) 또는 학습된 커널을 사용하지 않습니다. 이 구조는 상대적 포즈를 포함하는 선택된 로그 차트(logarithm chart) 상의 모든 행렬 Lie 군에 적용되며, 여기에는 스케일(scale)과 전단(shear)을 포함하여 기약 표현 전통이나 전사 지수 방식이 도달할 수 없는 비콤팩트 비가환 아핀 군(non-compact non-abelian affine groups)이 포함됩니다. SE(2), SO(3), Aff(2)에 대한 세 가지 시퀀스 완성(sequence-completion) 실험이 이를 입증합니다. 폐형 점수는 동일한 불변량에 대한 학습된 MLP 커널과 일치하며, SE(2)에서는 5080배 더 적은 점수 파라미터를 사용하면서도 이를 능가합니다. 반면 벡터-토큰(vector-token) 베이스라인은 불변성을 512 자릿수(orders of magnitude)만큼 깨뜨립니다.