MiniMax MaxProof, 수학 올림피아드에서 인간 금메달 기준 초과 달성
요약
MiniMax MaxProof는 개체군 수준의 테스트 시간 스케일링 프레임워크로, 수학 올림피아드에서 인간 금메달 기준을 초과하는 높은 점수를 달성했습니다. 또한 MiniMax는 109B 모델에 대한 블록 단위 희소 어텐션(Blockwise sparse attention) MSA를 공개하여, 1M 토큰 컨텍스트에서 어텐션 연산량을 크게 줄였습니다.
핵심 포인트
- MiniMax MaxProof가 수학 올림피아드에서 높은 점수를 기록하며 성능을 입증했습니다.
- MiniMax는 블록 단위 희소 어텐션을 통해 1M 토큰 컨텍스트의 연산 효율성을 높였습니다.
- 이 기술은 대규모 모델의 긴 컨텍스트 처리 능력을 향상시키는 데 기여합니다.
후보 증명(candidate proofs)을 토너먼트 선택(tournament selection)을 통해 검색하는 개체군 수준의 테스트 시간 스케일링 프레임워크입니다. IMO 2025에서 42점 만점에 35점을, USAMO 2026에서 42점 만점에 36점을 기록했습니다.
논문:
MiniMax가 백만 토큰 컨텍스트에 대한 MSA를 공개하다
GQA 그룹별로 점수를 매기고 상위 k개의 KV 블록을 선택하는 인덱스 브랜치(Index Branch)와, 해당 블록들만 어텐션하는 메인 브랜치(Main Branch)를 가진 블록 단위 희소 어텐션(Blockwise sparse attention)입니다. 109B 모델에서 1M 토큰일 때, 토큰당 어텐션 연산량을 28배 줄였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0