ADVENT: ILP를 위한 LLM 기반 자동 술어 발명 (Predicate Invention)
요약
ADVENT는 귀납 논리 프로그래밍(ILP)의 병목 현상인 술어 발명을 해결하기 위해 LLM의 가추적 생성과 Prolog의 연역적 검증을 결합한 새로운 메커니즘을 제안합니다. 이 방식은 의미 있는 보조 술어를 생성하고 지식 풀에 축적하여 태스크 간 재사용성을 높입니다.
핵심 포인트
- LLM의 가추적 생성과 Prolog의 연역적 검증을 결합한 반복 루프 구조
- 의미론적으로 투명하고 인간이 해석 가능한 술어 및 규칙 생성
- 기존 ILP 대비 높은 성공률 달성 및 지식 풀을 통한 성능 향상
- 구조화된 관계형 데이터 내 암시적 패턴 식별 능력 강화
술어 발명 (Predicate Invention, PI)은 가설 공간 (hypothesis space)을 확장하기 위해 새로운 술어를 생성하는 것으로, 귀납 논리 프로그래밍 (Inductive Logic Programming, ILP)에서 여전히 중요한 병목 현상으로 남아 있습니다. 기존 방법들은 도메인 전문 지식에 의존하며 의미론적으로 불투명한 술어를 생성하여, 익숙하지 않은 도메인에 대한 적응과 태스크 간 재사용을 방해합니다. 우리는 ILP를 위한 LLM 기반 PI 메커니즘인 ADVENT를 제시합니다. ADVENT는 LLM의 가추적 생성 (abductive generation)과 Prolog의 연역적 검증 (deductive verification)을 결합하여, 구체적인 실행 결과가 LLM을 가이드하여 후보 술어를 정교화하는 반복 루프를 형성합니다. 이 메커니즘은 거대 언어 모델 (Large Language Models, LLM)을 활용하여 구조화된 관계형 데이터 내의 암시적 패턴을 식별하고, 의미 있는 이름과 정의를 가진 보조 술어를 발명합니다. 발명된 술어와 학습된 규칙은 태스크 간 재사용을 위해 지식 풀 (knowledge pool)에 축적됩니다. 7개의 LLM을 통해 9개의 포커 핸드 (poker-hand) 개념에 대해 수행한 실험 결과, LLM 기반 PI는 ILP 단독으로는 완전히 실패하는 지점에서 58%의 성공률을 달성하였고, 형식 검증 (formal verification)을 통해 이를 80%까지 끌어올렸으며, 지식 풀은 최대 +31%포인트의 이득을 제공하는 동시에 인간이 해석 가능한 규칙을 생성함을 보여주었습니다. 이러한 결과는 ADVENT가 ILP에서 술어 발명을 자동화하고 태스크 간 지식 재사용을 가능하게 하는 유망한 방향임을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기