오늘 새로운 29B MoE를 사용해 보시겠습니까? https://www.reddit.com/r/LocalLLaMA/comments/1xoqc59/add_support_for_the_xing4_0_by_shuxiaoqiong_pull/ Xing4.0-29B-A4B는 중국 통신(China Telecom) 인공지능 기술 회사에서 개발한 Xing 시리즈(이전 명칭: TeleChat)의 차세대 대규모 언어 모델입니다. 총 29B의 파라미터를 가지고 있으며 토큰당 단 4B만 활성화하여, 기본적으로 256K 컨텍스트 길이를 지원하며 최대 512K까지 확장 가능합니다. 이 모델은 Ascend NPU 플랫폼과 MindSpore 프레임워크를 사용하여 완전히 훈련된 최초의 대규모 모델이며, 복잡한 엔지니어링 작업을 위해 깊이 최적화되었습니다. 더 자세한 정보는 저희 GitHub 저장소를 참조해 주십시오.
주요 특징 (Highlights)
- 에이전트 지향 아키텍처 (Agent-Oriented Architecture): mHC + MLA + MTP 아키텍처를 기반으로 구축되었으며, 다단계 계획(multi-step planning), 도구 호출(tool calling), 복잡한 추론 체인 실행을 지원하여 긴 컨텍스트에서도 작업의 일관성과 실행 안정성을 보장합니다.
- Ascend NPU를 활용한 심층 공동 최적화 (Deep Co-optimization with Ascend NPU): mHC에 대한 기능 적응 및 융합 연산자(fused operator) 개발을 포함하여 MindSpore/MindFormers를 사용하여 Ascend 910C 클러스터에 맞게 조정되었으며, 이를 통해 Ascend 플랫폼에서 안정적이고 효율적인 훈련이 가능합니다.
- 상당한 훈련 효율성 향상 (Significant Training Efficiency Gains): 세밀한 MoE 통신 최적화(fine-grained MoE communication optimization), 선택적 재계산(selective recomputation), DVM 자동 그래프-연산자 융합(DVM automatic graph-operator fusion), Ascend C mHC 융합 연산자를 포함한 다단계 공동 최적화를 통해 전체 훈련 처리량(training throughput)이 기본 성능 대비 약 96% 향상되었습니다.
- 완전한 오픈소스 생태계 호환성 (Full Open-Source Ecosystem Compatibility): 미세 조정(fine-tuning)을 위해 LLaMA-Factory와 MindFormers를 지원하며, 추론 및 배포를 위해 SGLang, vLLM, KTransformers를 지원합니다. 또한 OpenCode, Claude Code, OpenClaw, Hermes와 같은 에이전트 프레임워크에 대한 목표 적응 및 형식 정렬을 통해 기존 워크플로우에 원활하게 통합될 수 있습니다.
도메인별 시나리오를 위한 쉬운 적응: 이 모델은 다운스트림 태스크 미세 조정(downstream task fine-tuning)에 매우 적합하며, 의도 분류(intent classification), 테이블 이해(table understanding), 계약 감사(contract auditing), 지식 기반 QA와 같은 수직 도메인(vertical domains)의 독점 데이터에 경량화된 맞춤 설정을 허용하여 낮은 비용으로 신속한 도메인 역량 개발 및 배포를 가능하게 합니다.
모델 개요 Xing4.0-29B-A4B 매개변수(Parameters) 29B (활성 4B)
레이어 수(Number of Layers) 40
은닉 크기(Hidden Size) 3584
Dense FFN 중간 크기(Intermediate Size) 9216
Expert 중간 크기(Intermediate Size) 1024
어텐션 유형(Attention Type) MLA
라우팅된 전문가 수(Number of Routed Experts) 64
토큰당 활성 전문가 수(Active Experts per Token) 4
공유 전문가 수(Number of Shared Experts) 1
컨텍스트 길이(Context Length) 256K (최대 512K로 확장 가능)
벤치마크 벤치마크 Xing4.0-29B-A4B Gemma4-26B-A4B Qwen3.6-35B-A3B IFBench 69.67 72.67 65.50
AIME2026 90.00 88.30 92.70
AA.LCR 61.00 66.00 62.00
Tau3-Bench 64.63 58.90 67.20
Claw-Eval 76.55 71.49 74.54
SWE-bench Verified 75.00 53.00 76.00
Terminal-Bench 2.1 57.50 30.00 51.50
SWE-bench Multilingual 66.00 51.00 67.20
DeepresearchBII 60.80 39.30 59.70
/u/jacek2023 제출 [링크] [댓글]
