NVIDIA, Nemotron 3 Nano 30B-A3B 백본을 기반으로 구축된 독특한 확산 기반 (diffusion-based) 언어 모델인
요약
NVIDIA가 Nemotron 3 Nano 백본을 기반으로 한 확산 기반(diffusion-based) 언어 모델인 Nemotron-TwoTower-30B-A3B-Base-BF16을 출시했습니다. 이 모델은 기존 자기회귀 방식 대신 확산 디노이저 타워를 사용하여 생성 효율을 극대화했습니다.
핵심 포인트
- 자기회귀 방식 대비 실제 생성 처리량 2.42배 향상
- 기존 자기회귀 베이스라인 대비 98.7%의 벤치마크 품질 유지
- 고정된 컨텍스트 타워와 확산 디노이저 타워의 병렬 구조 활용
NVIDIA가 Nemotron 3 Nano 30B-A3B 백본 (backbone)을 기반으로 구축된 독특한 확산 기반 (diffusion-based) 언어 모델인 Nemotron-TwoTower-30B-A3B-Base-BF16을 출시했습니다.
엄격하게 한 번에 하나의 토큰을 생성하는 대신, 이 모델은 고정된 자기회귀 (autoregressive) 컨텍스트 타워 (context tower)와 토큰 블록을 병렬로 반복적으로 채우는 확산 디노이저 타워 (diffusion denoiser tower)를 사용합니다. NVIDIA는 자사의 기본 마스크 확산 (mask-diffusion) 설정이 자기회귀 (autoregressive) 베이스라인의 종합 벤치마크 품질을 98.7% 유지하면서도, 실제 시간 (wall-clock) 생성 처리량 (throughput)은 2.42배에 달한다고 밝혔습니다.
submitted by /u/nikhilprasanth
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기