Nemotron-TwoTower: 사전 학습된 자기회귀(Autoregressive) 컨텍스트를 활용한 확산 언어 모델링 (Diffusion

요약

NVIDIA가 제안하는 Nemotron-TwoTower는 컨텍스트 처리와 노이즈 제거 역할을 두 개의 타워로 분리한 블록 단위 자기회귀 확산 모델입니다. 기존 자기회귀 모델의 품질을 유지하면서도 생성 처리량을 2.42배 향상시킨 것이 특징입니다.

핵심 포인트

• 컨텍스트 타워와 확산 노이즈 제거 타워를 분리하여 모델 용량 최적화
• 자기회귀 베이스라인 대비 98.7%의 높은 품질 유지
• 실제 시간 생성 처리량(Wall-clock throughput) 2.42배 향상
• Nemotron-3-Nano-30B-A3B 기반의 오픈 웨이트 모델 공개