NVIDIA Nemotron Bolt 3.5 74B A9B, 10월 15일 출시
요약
NVIDIA Nemotron Bolt 3.5 74B A9B 모델이 출시 예정이며, 이 모델은 MoE 구조와 고급 양자화 인식 학습 기술을 결합했습니다. 2-bit 양자화를 통해 24GB에 패킹되어 속도와 지능의 최적 균형을 제공합니다.
핵심 포인트
- 74B 파라미터, 9B 활성 파라미터 MoE 구조 채택
- 고급 양자화 인식 학습으로 품질 유지 및 효율 극대화
- 2-bit 양자화를 통해 24GB 메모리에 패킹 가능
- 속도와 지능의 최적 균형을 목표로 함
이 모델은 74B 파라미터, 9B 활성 파라미터의 Mixture-of-Experts (MoE) 모델이며, 고급 양자화 인식 학습(quantization-aware training) 기술을 사용하여 품질을 유지하며 2-bit 양자화로 24GB에 패킹되었습니다. 이 모델은 속도와 지능 사이의 최적 균형을 달성하는 것을 목표로 하며, 대부분의 인기 있는 밀집 모델(dense models)보다 빠르면서도 비슷한 메모리 사용량 대비 대부분의 인기 있는 MoE 모델보다 더 똑똑합니다. Nemotron 3.5 Bolt E4B 4GB는 10월 23일에 출시됩니다. 추가 세부 정보는 /u/CulturalKing5623가 제출했습니다. [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0