Nemotron-Labs-3-Puzzle-75B-A9B는 NVIDIA가 개발한 배포 최적화 대규모 언어 모델 (LLM)으로, Nemotron-3-Super-120B-A12B에서 파생되었습니다. 이 모델은 사후 학습 압축 프레임워크인 Iterative Puzzle을 사용하여 제작되었으며, 강력한 다운스트림 정확도를 유지하면서 대화형, 추론 중심 및 긴 문맥 (long-context) 워크로드에 대한 추론 효율성을 크게 향상시키는 것을 목표로 합니다.

이 모델은 Mamba, MoE (Mixture-of-Experts), 그리고 Attention 레이어가 교차 배치된 하이브리드 MoE 아키텍처를 채택하고 있습니다. Nemotron-3-Super와 마찬가지로, 더 빠른 텍스트 생성을 위해 다중 토큰 예측 (Multi-Token Prediction, MTP)을 지원합니다. 모체 모델과 비교했을 때, Puzzle-75B-A9B는 모델 파라미터를 총 120.7B / 활성(active) 12.8B에서 총 75.3B / 활성 9.3B로 줄였습니다.

전체 학습 및 압축 세부 사항은 기술 보고서(tech report)를 참조하십시오: Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs.

Nemotron-3-Super와 비교하여 Puzzle-75B-A9B는:

• 동일한 사용자 처리량 제약 조건 하에서 단일 8×B200 노드 상에서 약 2배 더 높은 서버 처리량 (throughput)을 달성합니다.
• 단일 H100에서의 지속 가능한 1M-토큰 동시성 (concurrency)을 1개 요청에서 8개 요청으로 증가시킵니다.
• 추론 (reasoning), 코딩 (coding), 다국어 (multilingual), 긴 문맥 (long-context) 및 에이전트 (agentic) 벤치마크 전반에서 강력한 정확도를 유지합니다.

지원되는 언어에는 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어 및 중국어가 포함됩니다.
이 모델은 상업적 이용이 가능합니다.
submitted by /u/jacek2023
[link] [comments]