그래피컬 einops: 텐서 네트워크와 계산 그래프의 가교

아키텍처 다이어그램 (Architecture diagrams)은 딥러닝에서 어디에나 존재하지만, 대개 표현적인 용도로만 사용됩니다. 즉, 다이어그램이 암시하는 텐서-프로그램 항등식 (tensor-program identities)은 여전히 산문적인 설명과 텐서 축 조작 (tensor-axis manipulation)을 통해 증명됩니다. 본 논문에서는 einops의 기반이 되는 텐서 프로그래밍 (tensor programming)의 구조적 파편 (structural fragment)을 위한 공식적인 그래피컬 계산법 (graphical calculus)을 도입하여, 이러한 다이어그램이 증명을 가능하게 하도록 만듭니다. 우리의 계산법은 텐서 축 (tensor axes)을 기본 타입 (base type) 주위의 중첩된 등급 튜브 (nested graded tubes)로 표현합니다. 튜브 경계는 축에 대한 무방향 텐서 네트워크 (undirected tensor-network) 관점을 복원하는 한편, 유향 내부 (directed interior)는 계산 그래프 (computation graphs)의 연산적 해석을 유지합니다. 핵심적인 재작성 규칙 (rewrite)은 등급-자연성 (grade-naturality)으로, 이는 튜브 위로 스펙타클 (spectacles)을 미끄러뜨리는 것입니다. 표준적인 등변성 (equivariance) 증명은 짧은 다이어그램 유도 과정이 됩니다. 추가적으로, 우리는 우리의 재작성 시스템 (rewrite system)이 어텐션 마스크 (attention masks)를 전처리 연산 (pre-processing operations)으로 변환하는 데 어떻게 적용될 수 있는지 보여주며, 이를 통해 희소 어텐션 블록 (sparse attention blocks)의 효율적인 구현을 복원합니다.