QMFOL: 정량화 가능한 단항 1차 논리 (Monadic First-Order Logic) 테스트 케이스 생성을 통한 대규모 언어 모델 추론

요약

LLM의 연역적 추론 능력을 정밀하게 평가하기 위해 단항 1차 논리(QMFOL) 기반의 자동화된 벤치마크 생성 프레임워크를 제안합니다. 논리적 복잡성을 정밀하게 제어하며, 외부 증명기를 통해 논리적 일관성을 보장하는 QMFOLBench를 구축했습니다.

핵심 포인트

• 논리적 복잡성(깊이, 너비 등)을 정밀하게 제어 가능한 QMFOL 프레임워크 제안
• 외부 증명기를 활용한 왕복 검증으로 벤치마크의 논리적 일관성 확보
• 논리적 복잡성이 증가할수록 모델의 성능 저하 및 계산 오버헤드 증가 확인
• 모델들이 True 레이블 과제에서 더 높은 성능을 보이며 의미적 변화에 민감함을 발견