SqueezeBench: 수학적 역량의 포화에 강한 평가 시스템

요약

본 글은 수학적 역량 측정의 한계를 극복하기 위해 'SqueezeBench'라는 새로운 평가 시스템을 제안합니다. 이 시스템은 기존 벤치마크가 포화되는 문제를 해결하며, 성공 시 단순히 문제 풀이를 넘어 함수의 경계(bounds)와 그 증명 자체를 개선하는 방식으로 작동합니다. 이를 통해 AI 모델의 수학적 추론 능력을 지속적으로 측정할 수 있습니다.

핵심 포인트

• SqueezeBench는 기존 벤치마크 포화 문제를 해결한 평가 시스템입니다.
• 성공은 문제 제거가 아닌, 함수의 경계(bounds)와 증명 자체를 높이는 방식으로 이루어집니다.
• 시스템은 기계 검증된 증명을 요구하여 수학적 정확성을 보장합니다.
• 최첨단 LLM 에이전트들이 이 벤치마크에서 상당한 성능 개선을 보여주었습니다.