NVIDIA가 Hugging Face에 Nemotron 3 Ultra를 출시했습니다
요약
NVIDIA가 Hugging Face를 통해 Nemotron 3 Ultra 모델을 출시했습니다. 이 모델은 하이브리드 Mamba-2 MoE Transformer 구조를 채택하여 높은 효율성을 제공합니다.
핵심 포인트
- 총 550B, 활성 55B 파라미터 규모의 MoE 모델
- 1M 토큰의 대규모 컨텍스트 윈도우 지원
- MMLU, 코드, 롱 컨텍스트 벤치마크에서 SOTA 달성
- 하이브리드 Mamba-2 MoE Transformer 아키텍처 적용
NVIDIA가 Hugging Face에 Nemotron 3 Ultra를 출시했습니다.
총 파라미터(total params) 550B,
활성 파라미터(active params) 55B,
하이브리드 Mamba-2 MoE Transformer,
1M 토큰 컨텍스트(token context),
그리고 MMLU, 코드(code), 그리고 롱 컨텍스트(long-context) 벤치마크에서 SOTA(State-of-the-Art)를 달성했습니다.
모델:
https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16
기술 보고서(Technical report):
https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Ultra-Technical-Report.pdf
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0