NVIDIA가 Hugging Face에 Nemotron 3 Ultra를 출시했습니다

요약

NVIDIA가 Hugging Face를 통해 Nemotron 3 Ultra 모델을 출시했습니다. 이 모델은 하이브리드 Mamba-2 MoE Transformer 구조를 채택하여 높은 효율성을 제공합니다.

핵심 포인트

• 총 550B, 활성 55B 파라미터 규모의 MoE 모델
• 1M 토큰의 대규모 컨텍스트 윈도우 지원
• MMLU, 코드, 롱 컨텍스트 벤치마크에서 SOTA 달성
• 하이브리드 Mamba-2 MoE Transformer 아키텍처 적용