요약
- MAI-Base-2는 Microsoft AI의 기반 모델(foundation model)입니다. 총 2조 8천억 개의 매개변수를 가진 Mixture-of-Experts (MoE) 네트워크이며, 처리하는 각 토큰당 800억 개가 활성화됩니다. 기반 모델이란 사후 학습(post-training)을 거쳐 제품이 되는 사전 학습된 레이어를 의미하며, Microsoft는 2026년 10월 15일에 MAI-Base-2가 이 사전 학습 단계를 완료했음을 발표했습니다.
- 훈련에는 2026년 8월과 9월 동안 38일간 Nvidia GB200 GPU 16,000개가 사용되었으며, 평균 모델 FLOPs 활용률은 21%, goodput은 89%였습니다. 이는 전체 시간 대비 훈련이 89% 진행되었음을 의미합니다.
- Microsoft는 자체 훈련 방식(training recipe)이 DeepSeek-V4-Pro-Base보다 FLOPs 효율성이 4.2배에서 12.3배 높고, 자사 MAI-Base-1보다 6.3배에서 12.7배 더 효율적이라고 보고합니다.
- 이러한 효율성 수치는 평가별로 적합된 스케일링 법칙(scaling laws)에서 나온 것이며, Microsoft는 독자가 해당 범위의 수치를 인용할 때 MAI-Base-2 자체의 최종 점수가 포함되어 있음을 고려해야 한다고 명시합니다.
- Microsoft가 비교하는 네 가지 오픈 모델 중 세 개는 사후 학습된 체크포인트(post-trained checkpoints)입니다. DeepSeek-V4-Pro-Base만이 출시된 기반 체크포인트이며, Microsoft는 사후 학습이 점수에 영향을 미칠 수 있음을 지적합니다.
- 추론을 임대하는 팀에게는 세 가지 부분이 전달됩니다: 서비스 비용을 결정하는 활성 매개변수 개수(active-parameter count), MFU 수치 뒤에 숨겨진 명시된 분모(stated denominator), 그리고 Foundry를 통해 제공되는 가중치(weights)와 연결된 계약입니다.
- 데이터 스토리는 라이선싱 논거가 됩니다: 다른 모델로부터의 증류(distillation)가 없는 독자적인 훈련 데이터, 고유 토큰 기준으로 MAI-Base-1보다 약 36% 더 큰 코퍼스, 인코더가 필요 없는 아키텍처를 갖춘 네이티브 비전 기능, 그리고 2026년 3월의 지식 차단 시점(knowledge cutoff)입니다.
- 배포는 라이선스가 되며, 이 라이선스가 뉴스입니다: 가중치는 사후 학습을 거친 후 Foundry를 통해 신뢰할 수 있는 파트너에게 전달되며, 오픈 웨이트 출시, 가격 또는 날짜가 공개되지 않았습니다.
Page 1 of Microsoft AI's Lab Notes PDF for Frontier Pre-training at Microsoft AI, showing the title, date and held-out evaluation table
2026년 10월 15일 자, Microsoft AI의 자체 연구 노트(Lab Notes) PDF에 담긴 최첨단 사전 학습(frontier pre-training) 자료 (microsoft.ai, 2026년 10월 17일 검색). 이 문서에는 1조 개 이상의 매개변수를 가진 모델들의 Figure 1 bits-per-byte 표가 포함되어 있습니다.
10월 15일에 Microsoft가 완료한 것
Microsoft AI는 2026년 10월 15일 연구 노트(Lab Notes) 게시물을 통해 MAI-Base-2의 사전 학습이 완료되었으며, 모델이 현재 사후 학습(post-training) 단계로 넘어갔다고 발표했습니다. 이 게시물은 800억 개의 활성 매개변수와 총 2조 8천억 개의 매개변수를 가진 MoE (Mixture of Experts) 기반 모델을 설명하며, MAI-Base-2가 Microsoft가 테스트한 모든 오픈 가중치(open-weight) 모델의 보유 평가(held-out evaluations)에서 더 우수한 성능을 보인다고 언급했습니다.
이 설명에는 두 단어가 가장 많은 이야기를 담고 있습니다. 사전 학습은 모델이 방대한 코퍼스(corpus)로부터 학습하여 기본 체크포인트(base checkpoint)가 되는 단계이며, 사후 학습은 이 체크포인트를 사용자가 활용할 수 있는 무언가로 변환하는 단계입니다. 따라서 완료된 사전 학습 실행은 그 앞에 제품이 남아있는 공학적 마일스톤(engineering milestone)이며, Microsoft는 출시 날짜, 토큰당 가격, 또는 해당 모델을 어떤 자체 제품에 적용할지에 대한 진술을 발표하지 않았습니다.
상업적으로 중요한 내용은 배포 진술입니다. Microsoft는 자사의 모델 파이프라인 전체를 소유하는 것이
Netics 시각 자료: Microsoft가 해당 실행을 위해 발표한 네 가지 수치와 활용 측정 지표 옆에 표시된 총 및 활성 매개변수.
MFU와 goodput으로 측정한 38일간의 실행
이 실행 자체는 공급업체 발표치로서는 이례적인 정밀도로 문서화되었다. Microsoft는 2026년 8월과 9월에 걸쳐 16k GB200 GPU에서 MAI-Base-2를 훈련했다. 해당 실행 기간 동안 평균 MFU는 21%였고 goodput은 89%였다. 게시물에는 자체 측정 관례도 명시되어 있다: MFU는 BF16에서의 GB200의 이론적 최대치로 불리는 2.5 PFLOPS로 정규화되며, 이 수치는 재물질화(rematerialization)와 옵티마이저에 사용된 FLOPs를 제외한다.
이 두 가지 수치는 서로 다른 실패 지표를 설명한다. MFU는 커널이 하드웨어의 산술 용량 중 실제로 얼마나 많이 사용하는지를 측정하며, Microsoft는 재물질화 및 옵티마이저 작업을 제외하는 정의에 따라 21%를 계산했다. 우리의 해석은 이론적 최대치와 격차 대부분이 16,000개 GPU 전반에 걸친 통신 및 메모리 시간 때문이며, 게시물에서는 이를 세분화하지 않았다. Goodput은 훈련이 진행된 벽시계 시간의 비율을 측정하므로, 89%는 약 9번 중 한 번 동안 클러스터가 정지(stalled)했음을 설명한다. 자체 실행을 계획하는 팀은 자신들의 활용 수치를 공급업체의 수치와 비교하기 전에 이 두 가지를 모두 읽어봐야 한다.
실행 뒤에 숨겨진 효율성 작업은 같은 게시물에서 설명하고 있으며, 직접 재사용할 수 있는 세부 사항이 있다: MoE 구현의 두 가지 비효율성을 수정하여 MoE 레이어의 MFU를 24%에서 35%로 높였다. 언급된 두 가지 원인은 동적 라우팅(dynamic routing)으로 인한 메모리 단편화와 더 미세한 전문가(finer-grained experts)로 인한 전문가별 오버헤드였다.
Netics editorial diagram contrasting Microsoft's efficiency claim with the method behind it
Netics 시각 자료: 4.2에서 12.3 수치가 무엇을 비교하는지, 그리고 그것이 파생된 적합한 스케일링 법칙(scaling law).
효율성 주장은 적합한 스케일링 법칙에 기반함
핵심 주장은 해당 레시피가 Microsoft가 가장 강력한 오픈 베이스 모델로 부르는 DeepSeek-V4-Pro-Base 대비 4~12배 더 많은 사전 학습 FLOPs 효율성을 갖는다는 것입니다. 이후 내용은 이 수치가 어떻게 도출되었는지 설명하며, 그 설명 자체가 수치만큼 중요합니다. Microsoft는 네 가지 분리된 평가에 대해 비트-퍼-바이트(bits-per-byte)의 독립적인 스케일링 법칙을 훈련 FLOPs와 연관 지어 적합시키고, 특정 모델이 자체 사다리를 따라 DeepSeek의 비트-퍼-바이트를 맞추기 위해 얼마나 많은 컴퓨팅 자원이 필요할지 추정했으며, 이 추정치를 DeepSeek의 훈련 컴퓨팅과 비교했습니다. 그 결과는 4.2배에서 12.3배이며, MAI-Base-1에 대해서는 6.3배에서 12.7배입니다.
이 방법론 중 한 문장은 주장을 완전히 뒷받침하기 위해 인용할 가치가 있습니다. 바로 “MAI-Base-2의 최종 성능은 알려져 있으며, 우리는 이를 적합 과정에 포함시키므로 일치하는 지점이 우리가 적합시킨 모델 범위 내에 놓이고 그 너머가 아닙니다.”라는 문장입니다. 부분적으로 자신이 설명하는 결과에 기반한 추정치는 단지 추정일 뿐이며, Microsoft는 이를 그렇게 제시합니다. 제3자 검증(Third-party replication)을 거쳐야만 측정된 사실이 됩니다.
비교 대상 세트에는 두 번째 주의사항이 있으며, 이는 Microsoft 스스로가 언급했습니다. DeepSeek-V4-Pro-Base만이 출시된 베이스 사전 학습 체크포인트이며, Kimi K3, Qwen3.8-2.4T-A95B 및 MiMo-V2.6-Pro-RL은 사후 훈련(post-trained) 체크포인트로 보고되었고, 본문에서는 이들의 결과가 사후 훈련이 해당 평가에 영향을 미칠 수 있다는 주의사항을 지니고 있다고 언급합니다. 표를 베이스 모델의 깨끗한 순위 목록으로 받아들이는 독자는 그 선을 넘어서 읽은 것입니다.
Page 5 of Microsoft AI's Lab Notes PDF showing the Figure 3 FLOPs-efficiency scaling ladders
Microsoft AI Lab Notes PDF의 5페이지 (microsoft.ai, 2026-10-17 검색), DeepSeek-V4-Pro-Base 대비 컴퓨팅 동등성을 추정하는 데 사용된 Figure 3 스케일링 사다리.
출처(Provenance)가 라이선싱 논거입니다
Microsoft는 데이터 위치를 상업적 위치와 연결합니다. 이 게시물에 따르면 사전 학습(pre-training)은 다른 모델로부터의 증류(distillation)를 포함하지 않은 자체 데이터로 구축되었으며, 모든 훈련 토큰이 사내에서 처리되었다고 합니다. 이 게시물은 파트너에게 가중치(weights) 라이선스를 제공하는 계획을 Microsoft가 해당 파이프라인 전체를 소유한다는 것과 연결합니다. 출처(Provenance)는 기술적인 측면만큼 법적인 주장입니다. 자신의 토큰이 어디서 왔는지 보여줄 수 있는 연구소는 결과물에 대한 권리를 부여하기가 더 쉽습니다.
데이터 볼륨은 구체적입니다. 코퍼스(corpus)는 고유 훈련 토큰 기준으로 MAI-Base-1에서 MAI-Base-2로 약 36% 성장했으며, 이 실행에는 50조 개의 토큰으로 구성된 훈련 혼합물(training mixture)이 사용되었고, 웹 데이터는 2026년 3월의 지식 차단 시점(knowledge cutoff)을 가지고 있습니다. 이전 모델과 달리, MAI-Base-2는 인코더가 없는 아키텍처를 통해 비전(vision)으로 네이티브하게 사전 학습되었으며, 그 VLM 코퍼스는 4조 5천 개의 고유 토큰을 보유하고 있으며, 반복분을 포함하면 훈련 혼합물의 18%를 차지합니다.
이 비전 공유 부분이 구매자에게 가장 중요할 가능성이 높습니다. 저희의 해석은 다음과 같습니다: 네이티브 이미지 및 문서 이해 기능을 갖춘 기본 모델(base model)은 차트, 표, 스캔된 문서 작업을 위해 적게 '덧붙여진' 메커니즘을 필요로 합니다.
추론(inference)을 임대하는 팀이 이 수치에서 얻을 수 있는 것들
이 글을 읽는 누구도 2.8조 개의 매개변수 모델을 훈련시키지는 않을 것이며, 게시물에 언급된 세 가지 사항은 어쨌든 전달됩니다.
Page 12 of Microsoft AI's Lab Notes PDF showing the Figure 10 data-scaling chart
Microsoft AI의 Lab Notes PDF 12페이지 (microsoft.ai, 2026-10-17 검색), 코퍼스가 고유 훈련 토큰 기준으로 약 36% 성장했다는 진술 뒤에 있는 Figure 10 차트.
두 가지 다른 수치로부터 컴퓨팅 및 메모리를 계획해야 합니다. 800억 개의 활성 매개변수(active parameters)가 각 토큰의 산술적 비용, 그리고 그 비용을 결정합니다. 반면, 총 2조 8천억 개는 메모리를 결정합니다. 모든 전문가(expert)가 상주해야 하므로 모델 호스팅은 이들 전체를 위한 공간이 필요합니다. 두 수치 중 오직 하나만을 기반으로 한 용량 계획은 GPU 개수나 토큰당 비용 둘 중 어느 하나를 잘못 계산하게 됩니다.
활용률 지표에는 정의가 첨부되어야 합니다. Microsoft는 21%의 MFU(Model Flops Utilization)를 발표하며, 그 옆에 정규화 및 제외 항목을 명시하는데, 이것이 모든 공급업체에게 요구되는 표준입니다. 분모가 명시되지 않은 활용률 수치는 슬라이드 자료일 뿐입니다.
라이선스 기반의 기본 모델(base model)은 계약서가 첨부된 공급망 의존성입니다. Foundry를 통해 신뢰할 수 있는 파트너에게 전달되는 가중치(weights)에는 법무팀이 읽어야 할 조건들이 따르며, 이 모델을 기반으로 제품을 구축하는 비즈니스는 상업적 관계가 변경되었을 때도 모델 운영을 지속할 수 있는지 알아야 합니다. 이러한 통제력이 필요한 팀들은 결국 스스로 보유한 가중치를 실행하게 됩니다. Netics는 바로 그 이유 때문에 고객이 소유한 인프라 주변에 셀프 호스팅 AI 에이전트 플랫폼을 조립합니다.
Microsoft는 MAI-Base-3 준비가 진행 중이며, MAI-Base-2는 후속 훈련(post-training) 과정을 거치고 있다고 말합니다. 다음 발표에서는 아마 더 큰 숫자가 제시될 것입니다. 여전히 유용한 질문은 같습니다. 고객이 확인할 수 있는 이 수치들은 무엇일까요?
원문 출판: Netics 블로그
