SABER-Math: 수학 분야 정보 검색 (IR) 평가를 위한 자동화된 벤치마크

에이전트형 AI (agentic AI) 시스템이 더욱 복잡한 수학적 과제를 해결함에 따라, 문제 데이터베이스, 정리 라이브러리 및 교육 리소스를 검색하기 위해 정보 검색 (Information Retrieval, IR)에 점점 더 의존하고 있습니다. 그러나 리트리버 (retriever)의 효과를 다운스트림 성능 (downstream performance)에 미치는 영향과 직접적으로 분리하여 파악하는 것이 불가능하기 때문에, 적절한 리트리버를 선택하는 일은 여전히 어렵습니다. 반면, 기존의 검색 특화 벤치마크들은 미세한 수학적 관련성 (mathematical relevance)을 포착하지 못해 관련 문서를 불이익을 주는 경우가 많습니다. 우리는 전문가의 주석 (annotation) 없이 수학적 IR을 평가하기 위한 최초의 완전 자동화된 벤치마크인 SABER-Math를 도입하여 이 간극을 메웁니다. 솔루션이 포함된 283K개의 고등학교 수준 수학 문제에서 시작하여, SABER-Math는 세 단계를 통해 도전적인 재순위화 (reranking) 과제를 구축합니다: (i) 첫째, LLM이 각 문제에 대해 간결한 솔루션 요약과 수학적 주제를 추출합니다; (ii) 그다음, 온톨로지 주제 기반 (ontology topic-based) 및 어휘적 솔루션 요약 기반 (lexical solutions-summary-based) 유사성을 사용하여 쿼리별 관련 문서를 발견하며, (iii) 마지막으로, 스위스 스타일의 LLM 선호도 토너먼트 (Swiss-style LLM preference tournament)를 통해 문서에 대한 미세한 관련성 등급을 생성합니다. 우리는 어휘적 리트리버 (lexical retrievers), 특화된 수학적 검색 시스템, 그리고 최신 임베딩 모델 (embedding models)을 평가합니다. 연구 결과, 현대적인 임베딩 모델이 고전적 및 수학 특화 베이스라인 (baselines)보다 실질적으로 뛰어난 성능을 보이지만, 가장 강력한 시스템조차 대수학 (Algebra) 및 미적분학 (Calculus)과 같이 기호가 많은 (symbol-heavy) 영역에서는 어려움을 겪는다는 것을 발견했습니다. 중요한 점은, MTEB와 같은 범용 IR 벤치마크가 수학적 성능, 특히 최신 임베딩 모델의 성능을 신뢰성 있게 예측하지 못한다는 것을 보여주었으며, 이는 수학 특화 검색 벤치마크의 필요성을 강조합니다.