Zero-Shot 논리 규칙 유도용 기초 모델: Neural Rule Inducer (NRI)

유도 논리 학습 (Inductive Logic Programming, ILP) 은 데이터에서 해석 가능한 논리 규칙을 학습합니다. 기존 방법들은 전역적 (transductive) 으로, 학습된 매개변수는 특정 술어에 묶여 있고 각 새로운 작업마다 재학습이 필요합니다. 우리는 Zero-Shot 규칙 유도용 사전 학습 모델인 Neural Rule Inducer (NRI) 를 소개합니다. NRI 는 문자열 정체성 (literal identities) 을 인코딩하는 대신, 클래스 조건부 확률 (class-conditional rates), 엔트로피 (entropy), 공존 (co-occurrence) 과 같은 도메인 무관 통계적 속성을 사용하여 리터럴을 표현합니다. 이는 재학습 없이 변수의 정체성과 개수에 걸쳐 일반화됩니다. 모델은 통계 인코더와 병렬 슬롯 기반 디코더로 구성됩니다. 병렬 디코딩은 논리 합 (disjunction) 의 순열 불변성 (permutation invariance) 을 보존하며, 자기회귀 디코더는 임의의 절자 순서를 부과합니다. 곱 T-노름 완화 (Product T-norm relaxation) 는 규칙 실행을 미분 가능하게 만들어 예측 정확도만으로 엔드 투 엔드 학습이 가능합니다. 우리는 NRI 를 규칙 복원, 라벨 노이즈 및 허위 상관관계에 대한 강건성, 그리고 실제 세계 벤치마크로의 Zero-Shot 전이에 대해 평가했습니다. 이 작업은 기호 추론용 기초 모델의 가능성을 여는 것으로 믿습니다. 코드와 참조 체크포인트는 https://github.com/phuayj/neural-rule-inducer 에서 이용 가능합니다.