LLMEval-Logic: 적대적 강화(Adversarial Hardening)를 통한 LLM의 논리적 추론 평가를 위한 솔버 검증 기반

요약

LLMEval-Logic은 LLM의 논리적 추론 능력을 정밀하게 평가하기 위해 제안된 새로운 벤치마크입니다. Z3 솔버를 활용한 형식적 검증과 적대적 강화(Adversarial Hardening) 워크플로우를 통해 기존 벤치마크의 한계를 극복하고, 현실적인 시나리오 기반의 고난도 논리 추론 항목을 제공합니다. 실험 결과, 최신 LLM들도 고난도 항목에서는 낮은 정확도를 보이며 여전히 논리적 추론에 큰 어려움을 겪고 있음이 확인되었습니다.

핵심 포인트

• Z3 솔버를 사용하여 자연어 논리 추론의 정답을 형식적으로 검증하고 채점 루브릭을 구축함
• 폐쇄 루프 적대적 워크플로우를 통해 모델이 풀기 어려운 고난도(Hard) 항목을 생성 및 강화함
• Base 및 Hard 두 가지 하위 집합으로 구성되어 체계적인 단계별 평가가 가능함
• 최신 LLM들을 평가한 결과, 고난도 항목의 정확도가 37.5%에 불과할 정도로 모델 간 성능 격차가 큼