격자 게이지 이론으로서의 어텐션: 관계는 오직 윌슨 루프를 통해서만 상호작용한다

관계들은 공유하는 개체를 통해 구성된다. 예를 들어, '앨리스는 밥의 어머니이고 밥은 캐롤의 아버지이므로, 앨리스는 캐롤의 할머니이다'와 같이 말이다. 그리고 순서가 중요하다. 왜냐하면 아버지의 어머니가 어머니의 아버지는 아니기 때문이다. 따라서 합성된 관계를 검증한다는 것은 루프(loop)를 닫는 것을 의미한다. 우리는 각 개체의 좌표계가 독립적으로 회전할 수 있다면(개체별 프레임 자유도, per-entity frame freedom), 세 가지 사실이 도출됨을 보여준다. 순수 게이지 영역(pure-gauge sector)에서, 사이클을 공유하지 않는 관계들은 전혀 상호작용할 수 없다. 삼각형의 유일한 게이지 불변 점수는 그 홀로노미 $H = T_{ij} T_{jk} T_{ki}$의 클래스 함수, 즉 윌슨 루프(Wilson loop)이다. 그리고 어떤 엣지(edge)에 대한 동변 업데이트(equivariant update)는 $ ext{conjugation-equivariant}$인 $ ext{Ψ}$를 사용하여 $U = ext{Ψ}(H) ext{T}_{ij}$ 형태여야 한다. 따라서 윌슨 루프를 이용한 엣지 어텐션은 수많은 디자인 중 하나가 아니라, 대칭성이 허용하는 유일한 형태이다.

이러한 형태는 세 가지 커뮤니티에 의해 부분적으로 구현되고 있다: 지식 그래프(knowledge graphs)의 교환자 연산자 임베딩(commuting-operator embeddings)은 이의 아벨(abelian, 교환적) 영역을 차지하며; AlphaFold의 삼각형 업데이트와 Edge Transformer는 제약 조건 없이 세 번째 정점을 통해 엣지를 업데이트하는 형태를 가지고 있으며; 격자 QCD(lattice QCD)는 이를 격자 위에서 동변적으로 구축한다. 우리는 일반적인 관계 그래프에 대해 이 동변 하위 계열을 홀로노미 어텐션(holonomy attention)으로 구현한다. 학습 과정 없이 구성만으로, 이는 에지 절반이 손상된 희소 그래프(sparse graphs) 상의 관측되지 않은 $S_4$ 관계를 0.88의 정확도로 추론해내는데, 이는 전문적인 동기화 알고리즘보다 같거나 약간 낮은 수준이며, 모든 교환적 아키텍처는 0.083으로 제한된다. 또한, 이 홀로노미 점수는 AUC 0.99에서 손상된 삼각형을 플래그 지정하며, 교환적 점수가 두 번째 선택 규칙에 의해 0.76으로 제한되는 상황에서도 클러스터를 레이블 없이 분리해낸다.