QMFOL: 정량화 가능한 단항 1차 논리 (Monadic First-Order Logic) 테스트 케이스 생성을 통한 대규모 언어 모델 추론

대규모 언어 모델 (LLMs)은 추론, 특히 고위험 의사결정에 필수적인 연역적 추론 (deductive reasoning) 분야에서 상당한 발전을 이루었습니다. 모델이 발전함에 따라, 평가 벤치마크 또한 그 속도에 맞춰 진화해야 합니다. 그러나 기존의 벤치마크들은 논리적 복잡성에 대한 세밀한 제어가 부족하며, 의미적 다양성 (semantic diversity)과 논리적 일관성 (logical consistency) 사이의 균형을 맞추는 데 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해, 우리는 정량화 가능하고 제어 가능한 복잡성을 가진 단항 1차 논리 (monadic first-order logic) 추론 과제를 생성하기 위한 자동화된 프레임워크인 QMFOL을 제안합니다. 이 프레임워크는 논리곱 (conjunction) 및 논리합 (disjunction) 패턴을 사용하여 형식적 논리 구조를 구축함으로써 추론의 깊이 (depth), 너비 (width), 레이블 유형 (label types), 그리고 방해 요소 (distractors)를 정밀하게 제어할 수 있게 합니다. 이러한 구조는 LLM을 통해 자연어로 번역되며, 외부 증명기 (external prover)를 사용한 왕복 검증 (round-trip verification)을 통해 논리적 일관성을 보장합니다. 우리의 프레임워크를 바탕으로, 우리는 다양한 논리적 및 의미적 차원에 걸쳐 960개의 구성과 2880개의 인스턴스로 구성된 벤치마크인 QMFOLBench를 구축했습니다. 6개의 대규모 추론 모델 (LRMs) 및 2개의 LLM에 대한 평가 결과, 논리적 복잡성이 높아짐에 따라 성능은 저하되고 계산 오버헤드 (computational overhead)는 증가하는 것으로 나타났습니다. 모델들은 False 또는 Unknown 레이블 과제보다 True 레이블 과제에서 더 나은 성능을 보였으며, 의미적 변화 (semantic variation)에 민감하게 반응했습니다. 전반적으로, QMFOL은 제어 가능한 복잡성을 가진 연역적 추론 벤치마크를 구축하기 위한 확장 가능하고 신뢰할 수 있는 접근 방식을 제공하며, 현대 언어 모델의 추론 능력을 더욱 정밀하게 평가할 수 있게 합니다.