MiniMax가 새로운 sparse attention 아키텍처를 갖춘 M3를 공개했습니다

요약

MiniMax가 새로운 sparse attention 아키텍처를 적용한 M3 모델을 공개했습니다. M3는 1M 토큰 기준 prefilling 속도가 9.7배, decoding 속도가 15.6배 향상되어 이전 모델인 M2를 크게 뛰어넘는 성능을 보여줍니다.

핵심 포인트

• 새로운 sparse attention 아키텍처 도입
• 1M 토큰 기준 prefilling 속도 9.7배 향상
• 1M 토큰 기준 decoding 속도 15.6배 향상
• 기존 M2 모델 대비 압도적인 성능 차이