AdvancedMathBench: 고급 수학 증명 생성 및 검증을 위한 벤치마크 스위트

원문 발행 2026. 07. 14. 02:38원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

AdvancedMathBench는 LLM의 고급 수학적 추론 능력을 평가하기 위해 설계된 새로운 벤치마크 스위트입니다. 이 스위트는 학부 및 박사 수준의 문제를 포함하는 ProverBench와 증명 검증 능력을 측정하는 VerifierBench로 구성되어 있습니다. 실험 결과, 최신 모델들도 고급 수학 증명 생성과 오류 감지에서 여전히 상당한 개선이 필요함을 보여주었습니다.

핵심 포인트

고급 수학 추론 평가를 위한 AdvancedMathBench 소개
ProverBench는 학부/박사 수준의 296개 문제 포함
VerifierBench는 모델의 증명 유효성 판단 능력 측정
최첨단 모델도 고급 수학 증명 생성 및 검증에 어려움 존재

대규모 언어 모델(LLMs)은 고등학교 수준이나 올림피아드 스타일의 수학 문제에서 놀라운 성능을 보여주었지만, 고급 수학에 대한 그들의 능력은 여전히 제대로 이해되지 않은 상태입니다. 하지만 기존 벤치마크들은 범위와 평가 세밀도 면에서 모두 부족합니다. 이들은 제한적인 학문 분야 커버리지를 제공하며 종종 최종 답변의 정확성이나 거친 판단에 의존하여, 추론 과정의 유효성을 적절하게 평가하지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 고급 수학적 추론 능력을 평가하도록 설계된 벤치마크 스위트인 AdvancedMathBench를 소개합니다. 이의 핵심 증명 생성 벤치마크인 ProverBench는 학부 및 박사 자격시험 수준에 걸친 296개의 문제를 포함하고 있습니다. 증명의 신뢰할 수 있는 평가를 제공하기 위해, 우리는 대규모 전문가 주석을 기반으로 학습된 전용 자동 검증 파이프라인을 개발하여 정확성 판결과 증명 오류에 대한 세밀한 평가를 모두 생성하며, 이는 보류된(held-out) 증명 궤적에서 인간 전문가와 높은 일치도를 보입니다. 나아가, 우리는 모델이 증명의 유효성을 올바르게 판단하고 건전한 검증 근거를 제공할 수 있는지 평가하기 위해, 전문가의 정답 데이터와 쌍을 이룬 888개의 모델 생성 증명 궤적으로 구성된 VerifierBench를 추가로 소개합니다. 실험 결과는 AdvancedMathBench가 최첨단(frontier) 모델들에게 여전히 도전적임을 보여줍니다. 증명 생성 측면에서, 가장 성능이 좋은 모델인 GPT-5.5-xhigh는 UGD 및 QE 분할에서 각각 75.8점과 66.1점을 달성하는 데 그쳤으며, 이는 고급 수학 증명 구성에 상당한 개선의 여지가 있음을 나타냅니다. 증명 검증 측면에서는, 최고의 모델이 겨우 65.1의 균형 F1(Balanced F1)을 달성했으며, 모델들이 일반적으로 낮은 참 음성률(true negative rates)을 보여주어, 중요한 오류 감지(critical error detection)가 여전히 주요 병목 현상임을 시사합니다.

AI 자동 생성 콘텐츠

원문 바로가기

AdvancedMathBench: 고급 수학 증명 생성 및 검증을 위한 벤치마크 스위트

요약

핵심 포인트

댓글