요약

NVIDIA의 Nemotron-Labs-Diffusion은 어텐션 패턴 전환을 통해 AR 디코딩과 확산 기반 병렬 디코딩을 모두 지원하는 삼중 모드 언어 모델입니다. 특히 확산 기반 초안 작성과 AR 검증을 결합한 '셀프 스펙큘레이션' 기술을 통해 기존 MTP 방식보다 훨씬 높은 디코딩 효율성과 속도를 제공합니다.

핵심 포인트

• AR, 확산(Diffusion), 셀프 스펙큘레이션(Self-speculation)을 지원하는 SOTA 밀집 언어 모델 제품군 출시
• 셀프 스펙큘레이션 기술을 통해 Qwen3-8B-Eagle3 대비 3배 높은 수락 길이와 2.2배의 속도 향상 달성
• 생성 방식을 메모리 제한 영역에서 연산 제한 영역으로 이동시켜 모델 가중치 재사용성 극대화
• GB200 환경에서 커스텀 CUDA 커널 사용 시 기존 AR 대비 최대 4배(1015 tok/sec)의 속도 향상 구현