nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · Hugging Face

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 비전-언어 모델(VLM)로, 네이티브 2비트 양자화(quantization)를 사용하여 24GB 메모리에 적합하게 로컬에서 일상적인 에이전트 작업(agentic tasks)을 수행하도록 설계되었습니다. 다른 애플리케이션과 함께 실행될 수 있습니다. 이 모델은 GB당 지능과 속도를 최적화합니다. 가장 인기 있는 밀집형 모델(dense models)보다 빠르면서도, 비슷한 메모리 사용량을 가진 가장 인기 있는 MoE 모델보다 더 스마트한, 속도와 지능 사이의 최적 균형을 목표로 합니다. 이 모델은 상업적 또는 비상업적 용도로 사용할 준비가 되어 있습니다.

모델 요약 (Model Summary)

• 총 파라미터 (Total Parameters): 74B (9B 활성)
• 아키텍처 (Architecture): Mamba-2–Transformer 하이브리드, LatentMoE with a C-RADIO v4-H 비전 인코더
• 정밀도 (Precision): IQ2 (양자화 인식 훈련(quantization-aware training)을 적용한 2비트 양자화)
• 컨텍스트 길이 (Context Length): 최대 256K 토큰
• 입력/출력 (Inputs / Outputs): 텍스트, 이미지 및 비디오/텍스트
• 배포 (Deployment): 24GB 패킹 모델; NVIDIA Ampere (A100), Hopper (H100-80GB) 또는 Blackwell에서 vLLM을 사용한 추론(Speculative Decoding) (DFlash를 통한 LiLiCorr drafter; 보조 Bolt vLLM 레시피에서 7개의 추측 토큰)
• 추론 모드 (Reasoning Mode): 채팅 템플릿 제어기 (enable_thinking=True/False), Super 3.5 VL 클라이언트로부터 상속됨
• 권장 샘플링 (Recommended Sampling): 텍스트: temperature 1.0, top_p 0.95 (Super 3.5 VL 클라이언트로부터 상속됨)
• 최적 사용처 (Best For): 로컬에서 일상적인 에이전트 작업 수행
• 라이선스 (License): OpenMDW-1.1

모델 개요 (Model Overview)

• 모델 개발사 (Model Developer): NVIDIA Corporation
• 모델 날짜 (Model Dates): 2025년 12월 - 2026년 5월
• 데이터 최신성 (Data Freshness): 후처리 데이터는 2026년 5월을 기준으로 합니다.

Nemotron이란 무엇인가요? (What is Nemotron?)
NVIDIA Nemotron™은 개방형 가중치(open weights), 학습 데이터, 그리고 레시피를 제공하는 오픈 모델 제품군으로, 전문화된 AI 에이전트 구축을 위한 최고의 효율성과 정확도를 제공합니다.

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB는 비전-언어 모델(VLM)로, 네이티브 2비트 양자화를 사용하여 24GB 메모리에 적합하게 로컬에서 일상적인 에이전트 작업(agentic tasks)을 수행하도록 설계되었습니다. 다른 애플리케이션과 함께 실행될 수 있습니다.

이는 GB당 지능과 속도를 최적화합니다. 이 모델은 속도와 지능 사이의 최적 균형을 목표로 하며, 유사한 메모리 사용량에서 대부분의 인기 있는 밀집(dense) 모델보다 빠르면서도 대부분의 인기 있는 MoE 모델보다 더 똑똑하도록 설계되었습니다. 본 모델은 상업용 또는 비상업용으로 사용할 준비가 되어 있습니다. bolt! 제출자: /u/jacek2023 [링크] [댓글]