- NVIDIA Nemotron 3.5 Lightning 30B(A3B)의 가중치를 -1, 0, +1 세 값으로만 표현하는 1.58비트 터너리

요약

NVIDIA Nemotron 3.5 Lightning 30B 모델의 가중치를 -1, 0, +1 세 값으로 표현하는 1.58비트 터너리 양자화 기법을 소개합니다. 이 PTQ 방식은 모델 크기를 약 60GB에서 10GB로 줄여 메모리 효율성을 높였습니다. 또한, on/off-policy distillation 및 경계 마스킹 등의 복원 단계를 통해 성능 저하를 크게 개선했습니다.

핵심 포인트

• 1.58비트 터너리 양자화로 모델 크기를 약 60GB에서 10GB로 대폭 축소 가능합니다.
• PTQ 방식을 사용하여 사전 학습 없이 기존 BF16 모델에 적용할 수 있습니다.
• on/off-policy distillation과 STE를 결합하여 성능 저하를 회복시키는 데 성공했습니다.
• 경계 마스킹(Boundary Masking)은 3에폭 학습 시 최종 생성형 벤치마크 평균을 높였습니다.