Infographic cover
📅 2026년 11월 14일 • MathArena
독립 수학 벤치마크인 MathArena는 11월 13일 두 개의 최첨단 모델 결과를 추가했으며, 전체적인 그림이 바뀌었습니다. Google의 Gemini 4 Carbon이 이제 결합된 리더보드에서 선두를 차지하며, OpenAI의 GPT-6.1 Sol을 정상 자리에서 밀어냈습니다. MathArena 팀의 Jasper Dekoninck은 11월 14일 X에 이 글을 올리며, 이는 오랜만에 비(非)OpenAI 모델이 1위 자리를 지킨 첫 사례라고 언급했습니다. Anthropic의 Claude Fable 5.2가 2위를 차지하여 현재 OpenAI 모델 중에서는 순위 최상단에 있는 모델이 없습니다.
변화의 배경이 되는 수치들: 11월 14일 The Decoder가 인용한 전체 표에 따르면, 고도의 추론(high reasoning) 설정을 사용한 Gemini 4 Carbon은 오차 범위 3.0을 가진 85.4%를 기록했으며, Claude Fable 5.2는 5.3의 오차 범위로 최대 점수 82.8%를, GPT-6.1 Sol은 2.7의 오차 범위로 최대 점수 80.6%를 기록했습니다. ArXivMath 트랙에서는 Carbon이 전체 결과 94.28%(오차 범위 3.64)로 8개 시스템 중 첫 번째였으며, 2026년 9월 ArXivMath 실행에서는 96.23%에 도달했습니다(MathArena 모델 페이지 참조).
정확도에는 비용이 따릅니다. 테스트에 사용된 추론 설정을 기준으로, 예상되는 Carbon의 실행 비용은 약 15.70 달러로, Fable 5.2가 약 40 달러, GPT-6.1 Sol이 약 1 달러인 것과 비교했을 때입니다 — The Decoder에 따르면, 각각 비슷하게 15배와 40배의 비용 차이를 보였습니다. Carbon에 대한 MathArena 목록에는 릴리스 날짜가 11월 10일이며, 최대 출력 창은 1,048,576 토큰이고, 현재 가격은 입력 토큰당 백만 개 기준 2달러, 출력 토큰당 백만 개 기준 10달러입니다.
두 경쟁 모델 모두 이미 알려진 수준입니다. Carbon은 Google이 11월 10일 모든 유료 개발자에게 공개한 모델이며, Fable 5.2는 11월 9일에 출시되었습니다. 따라서 이번 업데이트는 새로운 제품에 관한 것이 아니라 측정된 결과에 대한 것입니다.
MathArena는 매월 ArXivMath 및 BrokenArXiv 에디션을 포함하여 모든 대회에 대해 오차 범위가 있는 정확도(accuracy), 전체 실행당 비용(cost per full run), 출력 토큰 볼륨(output-token volume)을 발표하며, 모든 모델의 샘플링 파라미터(sampling parameters)를 나열합니다. 따라서 비교는 단일 점수보다는 불확실성 범위로 제공되는데, 이는 실제로 85.4와 82.8이 얼마나 근접한지를 고려할 때 유용한 형식입니다.
Key figures
IMPACT
자동화 팀에게 이것은 무료 의사 결정 지원 도구입니다. 독립적인 벤치마크가 공급업체 발표 없이 새로 고쳐지며, 수학 트랙(math track)은 에이전트가 스프레드시트, 서류, 연구에서 수행하는 다단계 분석 작업에 대한 합리적인 대용품입니다. 리더보드는 정확도에도 가격을 매깁니다. 최고 결과는 80.6퍼센트의 가치 옵션보다 실행당 한 자릿수(order of magnitude) 더 많은 비용이 발생합니다. 실질적인 조언: 벤치마크를 통해 정보를 얻은 단기 목록을 유지하되, 자신만의 작업을 측정하십시오. 자동화 예산은 리더보드 점수가 아닌 완료된 실행의 비용을 체감합니다.
Sources: matharena.ai — the-decoder.com
IMPACT checklist
Sources:
참고 자료:
대화를 이어가기:
https://t.me/AIAutomationArchitecture · Bluesky
[AI Automation]
