MiniMax MaxProof, 수학 올림피아드에서 인간 금메달 기준 초과 달성

요약

MiniMax MaxProof는 개체군 수준의 테스트 시간 스케일링 프레임워크로, 수학 올림피아드에서 인간 금메달 기준을 초과하는 높은 점수를 달성했습니다. 또한 MiniMax는 109B 모델에 대한 블록 단위 희소 어텐션(Blockwise sparse attention) MSA를 공개하여, 1M 토큰 컨텍스트에서 어텐션 연산량을 크게 줄였습니다.

핵심 포인트

• MiniMax MaxProof가 수학 올림피아드에서 높은 점수를 기록하며 성능을 입증했습니다.
• MiniMax는 블록 단위 희소 어텐션을 통해 1M 토큰 컨텍스트의 연산 효율성을 높였습니다.
• 이 기술은 대규모 모델의 긴 컨텍스트 처리 능력을 향상시키는 데 기여합니다.