LLM을 ASP 프로그래머로 활용하기: 자기수정이 비모순적 추론을 가능하게 함

최근 대규모 언어 모델 (Large Language Models, LLMs) 은 놀라운 추론 성취를 이루었으나, 여전히 높은 계산 비용, 논리적 모순, 그리고 고난이도 문제에서의 급격한 성능 저하에 시달리고 있습니다. 신경-기호적 방법은 LLM을 기호 추론기와 결합하여 이러한 문제를 완화하려 시도하지만, 기존 접근법은 인간 인지에서 필수적인 구성 요소인 반박 가능 추론 (defeasible reasoning) 을 표현할 수 없는 단조 논리 (예: SMT) 에 의존합니다. 우리는 자연어를 안정적 모델 의미론 (stable model semantics) 기반의 비모순적 형식주의인 Answer Set Programming (ASP) 으로 변환하는 'LLM+ASP' 프레임워크를 제시합니다. 이전에 존재했던 LLM+ASP 접근법들은 수작업으로 작성된 지식 모듈, 도메인별 프롬프트, 또는 단일 문제 클래스에 제한된 평가를 필요로 한 반면, 우리의 프레임워크는 작업별 엔지니어링 없이도 작동하며 다양한 추론 작업에 균일하게 적용됩니다. 우리 시스템은 구조화된 피드백을 통해 반복적 정제를 가능하게 하는 자동화된 자기수정 루프를 활용합니다. 여섯 가지 다채로운 벤치마크에서 평가한 결과, 우리는 다음 사항을 입증했습니다: (1) 안정적 모델 의미론은 LLM이 기본 규칙과 예외를 자연스럽게 표현할 수 있게 하여, 비모순적 작업에서 SMT 기반 대안을 크게 능가합니다; (2) 반복적 자기수정이 성능 향상의 주된 동력이며, 손으로 만든 도메인 지식의 필요성을 효과적으로 대체합니다; (3) 간결한 인-컨텍스트 참조 가이드는 방대한 문서보다 월등히 우수하며, 과도한 컨텍스트가 제약 조건 준수를 방해하는 '컨텍스트 부패 (context rot)' 현상을 드러냅니다.