Nvidia에서 NVFP4 Kimi2.6 및 Kimi 2.5를 출시했습니다
요약
NVIDIA가 Moonshot AI의 Kimi-K2.6 및 Kimi 2.5 모델을 NVFP4 포맷으로 양자화하여 출시했습니다. 이 모델들은 최적화된 Transformer 아키텍처를 사용하는 자기회귀 언어 모델이며, Model Optimizer를 통해 양자화되었습니다. 제공된 벤치마크 결과에 따르면, NVFP4 버전은 Baseline (INT4) 대비 전반적으로 높은 성능을 보여주며 상업적/비상업적 용도로 사용 가능합니다.
핵심 포인트
- NVIDIA가 Moonshot AI의 Kimi-K2.6 및 Kimi 2.5 모델을 NVFP4 포맷으로 양자화하여 공개했습니다.
- 이 모델들은 Model Optimizer를 사용하여 최적화된 Transformer 아키텍처 기반의 자기회귀 언어 모델입니다.
- NVFP4 버전은 상업적 및 비상업적 용도로 사용 준비가 되어 있습니다.
- 벤치마크 결과에서 NVFP4는 Baseline (INT4) 대비 일부 항목(예: SciCode, MMMU Pro 등)에서 성능 향상을 보였습니다.
NVIDIA Kimi-K2.6-NVFP4 모델은 최적화된 Transformer 아키텍처를 사용하는 자기회귀 (Auto-regressive) 언어 모델인 Moonshot AI의 Kimi-K2.6 모델을 양자화 (Quantized)한 버전입니다. 더 자세한 정보는 여기에서 확인하십시오. NVIDIA Kimi-K2.6 NVFP4 모델은 Model Optimizer를 사용하여 양자화되었습니다.
이 모델은 상업적/비상업적 용도로 사용할 준비가 되어 있습니다.
정확도 벤치마크 (Accuracy benchmark) 결과는 아래 표에 제시되어 있습니다:
| 정밀도 (Precision) | GPQA Diamond | SciCode | τ²-Bench Telecom | MMMU Pro | AA-LCR | IFBench |
|---|---|---|---|---|---|---|
| Baseline (INT4) | 90.9 | 52.6 | 98.2 | 75.6 | 71.0 | 73.9 |
| NVFP4 | 90.4 | 54.4 | 98.0 | 76.5 | 71.8 | 73.9 |
Baseline: Kimi-K2.6의 네이티브 INT4 포맷입니다. temperature=1.0, top_p=0.95, max num tokens 128000 조건으로 벤치마크되었습니다.
링크:
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기