수학적 추론 평가 재고찰: 기호적 경직성을 넘어선 견고한 LLM-as-a-Judge 프레임워크

최근 대형 언어 모델 (Large Language Models) 의 발전은 수학적 추론을 포함한 다양한 작업에서 상당한 개선을 가져왔습니다. 수학적 추론은 논리적 추론 및 문제 해결 능력을 평가하기 위해 모델의 지능을 측정하는 데 사용됩니다. 모델들은 최종 답변이 정답 (ground truth answer) 과 일치하는지 확인하여 수학적 추론 벤치마크에서 평가됩니다. 이러한 검증에 대한 일반적인 접근법은 기호 수학 (symbolic mathematics) 비교를 기반으로 하며, 이는 다양한 수학적 표현과 해법 형식 사이로 일반화되지 못합니다. 본 연구에서는 규칙 기반 기호 수학 비교에 대한 견고하고 유연한 대안을 제시합니다. 우리는 다양한 수학적 표현과 답변 형식을 아우르는 정확한 평가를 가능하게 하는 모델 생성 답변을 평가하기 위한 LLM 기반 평가 프레임워크를 제안합니다. 우리는 Lighteval 과 SimpleRL 이라는 두 가지 인기 있는 프레임워크에서 기호 평가의 실패 사례를 제시하고, 이를 우리의 접근법과 비교하여 일반적으로 사용되는 방법보다 명확한 개선을 입증합니다. 우리의 프레임워크는 더 신뢰할 수 있는 평가와 벤치마킹을 가능하게 하여, 수학적 문제 해결 및 지능형 시스템의 발전을 위해 중요한 정확한 성능 모니터링을 이끌어냅니다.