5월 26일, MiniMax의 R&D 리드인 Skyler Miao는 X(구 트위터)에 다이어그램 하나를 게시했습니다. 절제된 색상을 사용했지만, 많은 정보가 압축되어 있었습니다. 제목은 _MiniMax Sparse Attention_이며, 오른쪽에 있는 두 개의 곡선은 눈길을 사로잡는 수치를 보여줍니다: 1M 토큰 기준 prefill(프리필) 9.7배 및 decode(디코딩) 속도 15.6배 향상.

커뮤니티는 이를 거의 만장일치로 M3의 티저로 해석했습니다. 하지만 그 의미는 단순히 "또 하나의 긴 문맥(long-context) 모델" 그 이상을 넘어섭니다.

지난 10월, MiniMax는 Why Did M2 End Up as a Full Attention Model?(왜 M2는 Full Attention 모델이 되었는가?)라는 제목의 블로그 포스트를 게시했습니다. 이 포스트는 이례적으로 직설적이었습니다. M2가 M1의 Lightning Attention을 계승하지 않은 이유는 "효율적인 어텐션(efficient attention)이 아직 프로덕션 단계에 준비되지 않았기 때문"이라고 밝혔습니다. 6개월 후 M3가 등장했고, 그 이면의 메시지는 본질적으로 한 문장으로 요약됩니다. — "이번에는 준비가 되었다"는 것입니다.

그렇다면 "이번에는 준비가 되었다"는 것이 정확히 어떤 모습일까요? 이 글에서는 다이어그램을 살펴본 후, DeepSeek가 개척한 세 가지 경로인 NSA, DSA, CSA와 비교하여 MiniMax가 어떤 길을 선택했는지 파악해 보겠습니다.

[

Figure 1 · A faithful redraw of the original diagram: the outer GQA-based Attention Block contains Step 1 and Step 2; the purple path converges at the final Sparse Attn Output.]

1. 다이어그램이 실제로 보여주는 것: 두 단계, 계산하기 전에 선택하라

이 다이어그램은 본질적으로 단일 어텐션 블록(attention block)의 내부 전개 과정을 보여줍니다. 여기서 주목해야 할 핵심적인 움직임은 "어떤 KV를 볼 것인가"와 "어텐션을 어떻게 계산할 것인가"를 명확히 분리된 두 단계로 나누었다는 점입니다.

1단계: 인덱스 브랜치(Index Branch) — 모든 것에 저렴하게 점수 매기기

상단 절반은 인덱스 브랜치(index branch)입니다. 이는 메인 경로와 독립적으로 실행되며, 오직 하나의 임무를 수행합니다: 다운스트림(downstream)에 어떤 블록을 살펴봐야 할지 알려주는 것입니다.

각 GQA(Grouped Query Attention) 그룹은 하나의 인덱스 쿼리(query)를 공유합니다(다이어그램에는 6개의 실제 헤드와 GQA 그룹당 하나씩 쌍을 이루는 2개의 Idx Q가 표시됨). 인덱스 브랜치의 KV 측면은 의도적으로 차원(dimension)이 축소되었습니다:

function1

K_idx는 단 하나의 헤드(head)만을 가진다는 점에 주목하십시오 — 모든 헤드가 동일한 인덱스 키(index key)를 공유합니다. 그 결과, Q_idx · K_idxᵀ를 계산하는 비용은 거의 들지 않습니다.

그 다음 Block Max Pool이 토큰 수준(token-level)의 점수들을 블록 수준(block-level)의 점수로 압축합니다:

Function2

마지막으로, TopK가 이 레이어와 이 GQA 그룹에 대해 어떤 KV 블록을 유지할지 결정하며, 그 결과로 I₁, I₂가 도출됩니다.

단계 2: Sparse Branch — 실제 어텐션이 실행되는 곳

하단부는 실제 어텐션 연산이 일어나는 곳입니다. Q ∈ ℝⁿˣᴴˣᵈ, K, V ∈ ℝⁿˣʰˣᵈ는 여전히 표준 GQA 형식을 따릅니다. 단계 1에서 얻은 I₁, I₂를 인덱스로 사용하여, 원래의 K/V에서 해당하는 블록 서브셋(subset)을 추출하고 다음을 실행합니다:

Function3

핵심적인 설계 선택 사항: 동일한 GQA 그룹 내의 쿼리 헤드(query heads)들은 단일한 top-k 선택을 공유합니다. 다이어그램에서 Q1/Q2/Q3는 모두 I₁을 사용하고, Q4/Q5/Q6는 모두 I₂를 사용합니다. 이것이 바로 NSA 논문에서 강조하는 하드웨어 정렬(hardware-aligned) 원칙입니다. 즉, 하나의 쿼리 그룹이 하나의 KV 블록 세트를 로드하여 단 한 번의 패스(pass)로 SRAM에 적합하게 맞추며, FlashAttention 스타일의 커널을 변경 없이 재사용할 수 있습니다.

2. DeepSeek 제품군과 비교했을 때 의도적으로 차감된 세 가지 요소

커뮤니티는 즉시 이 설계를 DeepSeek의 NSA / DSA / CSA와 나란히 비교했습니다. @eliebakouch의 요약은 한 줄로 요약됩니다: "MLA가 아닌 GQA를 사용하며, CSA와 유사한 블록 수준 선택을 수행하지만 어텐션은 실제 K/V 상에서 계산된다." 이를 표로 확장하면 다음과 같습니다:

세 가지 트레이드오프 (trade-offs)가 핵심으로 떠오릅니다:

첫 번째 차이점: MLA가 아닌 GQA를 기질 (substrate)로 사용. 이는 vLLM, SGLang, FlashAttention 커널을 거의 또는 전혀 수정 없이 재사용할 수 있음을 의미합니다. 즉, MLA의 잠재적(latent) KV를 처리하기 위해 필요한 엔지니어링 작업이 전혀 필요 없습니다. "프로덕션 준비(production-ready)"를 목표로 하는 연구실에게는 가장 리스크가 낮은 경로입니다.

두 번째 차이점: 블록 수준의 선택 (block-level selection)을 수행하지만, 어텐션은 실제 K/V 상에서 계산됨. 압축된 KV에서 어텐션을 실행하는 CSA와 달리, M3는 소프트맥스 어텐션 (softmax attention)의 완전한 표현력을 유지합니다. 그 대가로 어텐션 희소화 (attention sparsification)와 함께 KV 캐시가 줄어들지는 않지만, 토큰 경제성을 품질과 맞바꾸는 것은 합리적인 거래입니다.

세 번째 차이점: NSA의 다른 두 가지 분기(branch)가 사라짐. NSA는 원래 세 개의 병렬 경로 (압축 + 선택 + 슬라이딩 윈도우 (sliding window))와 학습된 게이트 (learned gate)를 가지고 있습니다. M3는 선택 (selection) 기능만 유지합니다. @teortaxesTex는 이를 간결하게 설명했습니다 — 유선형으로 다듬어지고 단순화된 NSA라고 말이죠. 한 문장으로 요약하자면: 엔지니어링 우선 (engineering first)입니다.

삭제된 두 분기 중 슬라이딩 윈도우는 RoPE + 어텐션 싱크 (attention sink)로 대체되었거나, 단순히 레이어별 폴백 (fallback)으로서 밀집 어텐션 (dense attention)으로 대체되었을 가능성이 가장 높습니다 (Gemma 3와 Qwen3-Next 모두 이 방식을 사용합니다). 압축 분기는 최소한의 "단일 헤드 K + 블록 맥스 풀 (single-head K + Block Max Pool)"로 흡수되었습니다.

3. 수치 읽는 법

디코드 가속도가 프리필 가속도를 초과하는 것은 합리적입니다. 프리필 단계에서는 인덱스 분기가 여전히 전체 길이를 스캔해야 하므로, 절감 효과는 메인 어텐션에서만 발생합니다. 반면 디코드 단계에서는 각 쿼리 (query)가 선택된 KV 블록과만 상호작용하며, KV 캐시에 대한 메모리 대역폭 압박 (memory-bandwidth pressure)이 대략 한 자릿수(order of magnitude) 정도 감소합니다.

선택 비율(selection ratio)을 역산해 보겠습니다. 블록 크기(block size)가 64라고 가정하면, 1M 토큰은 약 16k 블록에 해당합니다. 15.6배의 디코드 속도 향상(decode speedup)은 각 쿼리가 실제로 블록의 약 67%만을 건드린다는 것을 의미하며, 이는 약 60k70k 토큰 정도의 유효 수용 영역(effective receptive field)을 제공합니다. 이 비율은 NSA 논문에서 보고된 희소성 비율(sparsity rate, 6~10%)과 거의 정확히 일치합니다. 이는 우연이 아니라, 1M 스케일에서 이러한 설계가 가지는 최적의 지점(sweet spot)입니다.

4. M3의 나머지 부분 추론

이 어텐션 블록(attention block)을 전체 모델로 확장하여 추론하면 다음과 같습니다.

MoE 백본(backbone)은 유지될 가능성이 높습니다. M2는 총 230B / 활성(active) 약 10B / Top-2 라우팅(routing) / 은닉 차원(hidden dim) 약 4096으로 출시되었으며, M2.7은 이미 전문가(expert) 수를 256개까지 늘렸습니다. M3가 이를 포기할 이유는 없으므로, 가장 가능성 높은 변화는 모델을 더 깊고 넓게 만드는 것입니다.

전체 어텐션 스택(attention stack)이 블록 희소 GQA(block-sparse GQA)로 교체됩니다. M1의 Lightning Attention이 다시 도입될 가능성은 낮습니다. M3는 선형 어텐션(linear attention)에 다시 도박을 거는 대신, 품질을 유지하면서도 이차 미만 복잡도(sub-quadratic complexity)를 달성하는 "softmax 표현력 + top-k 블록 선택" 경로를 택하고 있습니다.

네이티브로 학습된 희소성(natively trained sparsity)일 가능성이 가장 높습니다. 이것이 NSA 논문의 핵심 메시지입니다. 희소 패턴은 사전 학습(pretraining) 과정 중 그래디언트(gradients)에 반영되어야 하며, 그렇지 않으면 검색 헤드(retrieval heads)가 뒤섞이게 됩니다. MiniMax는 검색 헤드에 관한 자체 연구 라인을 보유하고 있으므로, 이러한 함정에 빠지지는 않을 것입니다.

전투지는 1M 이상의 컨텍스트(context)입니다. M1은 1M에서 학습되어 추론 시 4M까지 확장되었으나, M3는 이를 확정 짓고 추론 비용을 대폭 절감하고 있습니다. 이는 매우 자연스러운 제품 주기(product cadence)입니다.

5. 2026년 설계 공간 내 M3의 위치

2025~2026년에 걸쳐, 희소 어텐션(sparse-attention) 설계는 빠르게 갈라지고 있습니다:

• DeepSeek V3.2 DSA: MLA + 토큰 레벨 top-k (token-level top-k), 매우 가벼운 인덱서 (lightweight indexer), 가장 안정적인 품질을 보여주지만 무거운 커널 엔지니어링 (kernel engineering)이 필요함
• DeepSeek NSA: GQA, 세 개의 브랜치 (three branches) + 게이트 (gate), 가장 높은 품질의 상한선(ceiling)을 가지지만 구현이 복잡함
• Qwen3-Next: 레이어 단위 혼합 (layer-wise mix), 밀집(dense) / 선형(linear) 교차 방식, 견고하지만 상대적으로 보수적임
• MiniMax M3: GQA + 단일 브랜치 블록 선택 (single-branch block selection), 최소한의 설계, 하드웨어의 순풍을 타고 있음

M3 설계의 속뜻은 명확합니다. "이론적으로 최적인 어텐션(attention)을 쫓지 마라. 즉시 실행 가능하고, 빠르게 실행되며, 기존 커널(kernel)을 재사용할 수 있는 것을 쫓아라." 이는 M2에서 풀 어텐션 (full attention)으로 회귀하기로 했던 그들의 결정과 맥을 같이 합니다. 즉, 먼저 주류 방법론으로 품질을 안정화한 다음, 기술이 진정으로 성숙했을 때 깔끔하게 교체하겠다는 전략입니다.

결론 (Closing thoughts)

단 하나의 다이어그램만으로는 많은 세부 사항을 확인할 수 없습니다. 희소 패턴 (sparse pattern)이 레이어 단위로 혼합되는지, 밀집 폴백 (dense fallback)이 존재하는지, 인덱스 브랜치 (index branch)가 메인 네트워크와 임베딩 (embeddings)을 공유하는지, 훈련 시의 top-k가 하드(hard) 방식인지 소프트(soft) 방식인지, 인덱스 브랜치의 손실 함수 (loss)가 어떻게 공식화되는지 등... 이 모든 것은 공식 논문이나 가중치 (weights) 공개를 기다려야 합니다.

하지만 한 가지는 이미 결정되었습니다. DeepSeek의 뒤를 이어, 또 다른 중국 연구소(lab)가 "희소 어텐션 (sparse attention) + 긴 컨텍스트 (long context) + 오픈 웨이트 (open weights)"를 하나의 작동 가능한 스택 (working stack)으로 구축했다는 점입니다. 2026년 하반기에는 오픈 소스 분야에서 1M 컨텍스트가 단순한 판매 포인트(selling point)를 넘어 기본 사양(baseline)으로 자리 잡을 가능성이 높으며, 그 자체만으로도 그 어떤 단일 벤치마크보다 더 큰 의미를 갖습니다.

참고 문헌 (References)

참고 문헌 (References)

• Skyler Miao (MiniMax R&D lead), 원본 트윗: Something BIG is coming
• 커뮤니티 정리: MiniMax가 M3의 희소 어텐션 아키텍처를 공개하다
• MiniMax 블로그: M2는 왜 풀 어텐션 모델로 끝났을까?
• DeepSeek NSA 논문: 네이티브 희소 어텐션 (Native Sparse Attention): 하드웨어에 맞춰진 네이티브 트레이너블 희소 어텐션
• DeepSeek V3.2 DSA 정리 문서: LLM의 아키텍처 효율성: DeepSeek-V3.2-Exp 및 DSA
• Sebastian Raschka: V3부터 V3.2까지 DeepSeek 모델 기술 투어
• MiniMax-01 기술 보고서: 라이트닝 어텐션(Lightning Attention)으로 파운데이션 모델 스케일링하기