모델 소개
Maxwell-V1.0-Flash는 Maxwell 팀이 개발한 차세대 고성능 Mixture-of-Experts (MoE) 언어 모델입니다. 총 35B의 파라미터를 가지며, 토큰당 활성화되는 파라미터는 3B입니다 (임베딩 제외). 최대 256K 토큰까지 컨텍스트 길이를 지원합니다. 이 모델은 실용적인 추론 비용으로 강력한 추론(reasoning), 에이전트 기능(agentic) 및 장문 컨텍스트 처리 능력을 제공하도록 설계되었습니다.
주요 특징
Maxwell Block Sparse Attention (MBSA):
각 KV 그룹은 8개의 접두사 블록과 8개의 로컬 128 토큰 블록에 대한 고정 커버리지를 유지하며, 학습된 인덱서가 선택한 최대 16개의 원격 블록을 추가합니다. 이를 통해 메인 어텐션의 범위는 KV 그룹당 4,096 토큰으로 제한되지만, 전체 히스토리 KV 캐시는 계속 사용 가능합니다. MBSA 커널은 256K에서 밀집 GQA(dense GQA)보다 6.7배 빠릅니다.
Manifold-Constrained Hyper-Connections:
학습된 입력 의존적 집계와 제약된 혼합을 사용하는 여러 잔차 스트림으로 구성되어, 추가적인 어텐션이나 피드포워드 평가 없이 정보 흐름을 확장합니다.
세밀한 Mixture of Experts (MoE):
주로 MoE 백본 구조를 채택하여 세밀하게 라우팅된 전문가(fine-grained routed experts)와 항상 활성화되는 공유 전문가(always-active shared experts)를 결합합니다. 경량의 시퀀스별 부하 균형 손실과 함께 동적 라우팅 보정 편향을 사용합니다.
사전 학습 (Pre-training):
주로 숨겨진 가중치 행렬에 Muon 최적화기(optimizer)를 사용하여 약 26T 토큰의 다국어 데이터로 학습되었습니다. 학습은 밀집 구조에서 시작하여, 인덱서가 밀집 전체 히스토리 어텐션에 대해 워밍업된 후 트레이닝 중간 지점인 128K에서 블록 희소성(block-sparse attention)이 도입되며, 이후 백본과 공동으로 트레이닝됩니다.
토크나이저 및 장문 컨텍스트:
스크립트 인식 다국어 토크나이저는 태국어, 라오어, 미얀마어, 크메르어, 산스크리트어와 같은 자원이 부족한 동남아시아 언어에서도 작게 유지됩니다. 이후 장문 컨텍스트 학습은 시퀀스 길이를 4K에서 256K까지 단계적으로 확장합니다.
사후 학습 (Post-training):
두 단계의 모든 도메인 SFT(Supervised Fine-Tuning)를 통해 일반적인 능력, 추론 능력 및 에이전트 능력을 구축한 후, 더 어려운 추론 문제와 에이전트 궤적을 목표로 합니다.
독립적인 강화학습(RL) 브랜치는 일반 작업, 검증 가능한 추론(수학, 과학, 논리, 코드), 그리고 에이전트적 작업(검색, 터미널 사용, 함수 호출, 소프트웨어 엔지니어링)을 다룹니다. 이후 다중 교사 온-정책 증류(Multi-teacher on-policy distillation)를 통해 학생이 생성한 응답을 감독함으로써 이들을 하나의 모델로 병합합니다. GitHub : https://github.com/maxwell-model/Maxwell-V1-Flash Project : https://maxwell-llm.ai/ submitted by /u/pmttyji [link] [comments]