NeSyCat Torch: 신경기호 학습 (Neurosymbolic Learning)을 위한 범주형 의미론 (Categorical

신경기호 의미론 (Neurosymbolic semantics)은 파편화되어 있습니다. 고전적 (classical), 퍼지 (fuzzy), 확률적 (probabilistic) 및 신경망 (neural) 시스템은 각각 자신만의 귀납적 규칙 (inductive rules)에 의해 진리 (truth)를 정의합니다. ULLER을 확장한 NeSyCat은 강한 모나드 (strong monad)와 진릿값 (truth-values)에 대한 집합 구조 (aggregation structure)를 매개변수화하여, 이들을 단일한 진리의 귀납적 정의 아래 통합합니다. 지금까지 NeSyCat은 신경망에 의해 학습되는 술어 (predicates)와 함수 (functions)에 대한 설명을 결여하고 있었습니다. 우리는 NeSyCat Torch를 그 누락된 연결 고리로 제공하며, 확률적 프로그래밍 (probabilistic programming) 및 텐서 기반 백엔드 (tensor-based backends)에서 프레임워크를 구현함으로써 신경망을 통해 계산 기호 (computational symbols)를 해석합니다. 우리는 참조 의미론 (reference semantics) 및 메트릭 평가 (metric evaluation)를 위해 분포 모나드 (distribution monad)를 사용하며, 수치적으로 안정적이고 미분 가능한 학습을 위한 모나드인 로그-세미링 (log-semiring) 상의 레이지 로그-텐서 모나드 (lazy log-tensor monad)로 이를 보완합니다. 배치 단위의 효율적인 학습을 위해, 우리는 추가적으로 배치 모나드 (batch monad)를 채택합니다. 공리 (axioms)는 곧 소스 코드입니다. 모나드 기반의 do-notation으로 한 번 작성되면, 모나딕 바인드 (monadic bind)가 주변화 (marginalisation)를 수행하며 불필요한 브랜치를 레이지하게 가지치기 (lazily pruning) 합니다. MNIST 덧셈 작업에서 우리의 HaskTorch, JAX, 그리고 PyTorch 구현은 LTN 및 DeepProbLog보다 속도와 정확도 면에서 뛰어난 성능을 보였으며, DeepStochLog에 근접하는 정확도를 달성했습니다. 그러나 DeepStochLog와 달리, 우리는 많은 1차 신경기호 (first-order NeSy) 접근 방식에 적용 가능한 균일한 프레임워크를 유지합니다. 즉, 이 구조는 모나드에 대해 매개변수화되어 있습니다. 예를 들어, 이를 Giry 모나드로 인스턴스화하면 연속 확률 (continuous probability)로 접근 방식을 확장할 수 있습니다 (여기서 신경망 표현을 도출하는 것은 향후 과제로 남겨둡니다).