요약

MathDuels는 LLM의 능력을 단순히 고정된 문제집을 푸는 해결자(solver)로만 평가하는 기존 방식의 한계를 극복하기 위해 개발된 새로운 자기 대결 벤치마크입니다. 이 벤치마크는 모델에게 수학 문제를 제시하는 '문제 제시자(poser)'와 다른 참가자가 만든 문제를 푸는 '해결자(solver)'라는 두 가지 역할을 동시에 수행하게 합니다. 실험 결과, 문제 제시 능력과 해결 능력은 서로 독립적인 능력이며, MathDuels를 통해 이러한 분리된 능력을 효과적으로 측정할 수 있음을 입증했습니다.

핵심 포인트

• 기존의 정적 수학 벤치마크는 모델을 고정된 문제집의 '해결자'로만 취급하여 성능 차별화에 한계가 있다.
• MathDuels는 LLM에게 문제를 생성하는 '문제 제시자(poser)'와 다른 문제가 만든 것을 푸는 '해결자(solver)'라는 이중 역할을 부여한다.
• 실험 결과, 모델의 문제 제시 능력과 해결 능력은 부분적으로 분리된 독립적인 능력임이 밝혀졌다.
• MathDuels 벤치마크는 새로운 LLM의 등장에 따라 난이도가 고정되지 않고 참가자의 강도와 함께 공진화(co-evolve)한다.