Sutra: 벡터 기호 아키텍처 (Vector Symbolic Architectures)를 위한 컴파일 타겟으로서의 Tensor-Op RNN

Sutra는 컴파일된 순전파 (forward pass)가 PyTorch 신경망 (neural network)인 타입 지정된 순수 함수형 프로그래밍 언어 (typed, purely functional programming language)입니다. 컴파일러는 프로그램 전체(프리미티브 (primitives), 제어 흐름 (control flow), 문자열 I/O)를 고정된 임베딩 기질 (frozen embedding substrate) 위의 하나의 융합된 텐서 연산 (tensor-op) 그래프로 베타 축약 (beta-reduces)합니다. 회전 바인딩 (Rotation binding), 언바인드 (unbind), 번들 (bundle), 다항식 Kleene 3가 논리 (polynomial Kleene three-valued logic), 그리고 꼬리 재귀 루프 (tail-recursive loops)는 모두 텐서 연산 (tensor operations)으로 낮아집니다. Kleene 연결사 (Kleene connectives)는 {-1, 0, +1} 진리 격자 (truth grid)에서 정확한 Lagrange 보간 다항식 (Lagrange-interpolated polynomials)입니다. 검증은 하나의 사실을 두 가지 방식으로 테스트하는 것입니다. (1) 동일한 프로그램이 두 가지 양상 (modalities)에 걸쳐 있는 네 개의 고정된 임베딩—세 개의 텍스트 인코더 (nomic-embed-text, all-minilm, mxbai-embed-large)와 하나의 단백질 언어 모델 (ESM-2)—에서 실행되며, 모든 기질에서 너비 k=8까지 100% 정확도로 번들 (bundles)을 디코딩합니다. 이때 교과서적인 하다마르 곱 (Hadamard product)은 이미 붕괴된 상태입니다 (mxbai-embed-large에서 2.5%, all-minilm에서 7.5%). (2) PyTorch autograd는 실제로 컴파일된 그래프를 통해 흐릅니다. .su로 작성된 퍼지 규칙 분류기 (fuzzy-rule classifier)는 기호 소스 (symbolic source)를 수정하지 않고 생성된 그래프를 통해 역전파 (backpropagating)함으로써, 무작위 초기화 (18.7 +/- 9.5%; 확률 = 20%, 5개 클래스) 상태에서 100.0 +/- 0.0% (3개 시드)까지 학습됩니다. 가중치 변형 버전은 추가적으로 스칼라 코사인 이득 (scalar cosine gain)을 학습하고 이를 숫자 리터럴 (numeric literal)로서 .su 소스에 다시 기록합니다. 재컴파일 시 학습된 동작이 로짓 (logit)당 ~2e-7 수준으로 재현되므로, 학습된 모델 자체가 읽을 수 있고 재컴파일 가능한 코드입니다. 따라서 동일한 아티팩트 (artifact)는 논리 프로그램 (logic program)인 동시에 학습 가능한 신경망 (trainable neural network)입니다.