Qwen 3.6 35B GGUF: GPU 및 CPU 환경에서의 NTP vs MTP 양자화 (Quantization) 결과

요약

ByteShape에서 출시한 Qwen 3.6 35B GGUF 모델의 NTP와 MTP 양자화 방식에 대한 성능 비교 연구 결과입니다. 테스트 결과, NTP 방식에서는 무조건 낮은 bpw를 선택하기보다 메모리가 허용하는 한 가장 큰 모델을 사용하는 것이 품질과 속도 면에서 유리했습니다. MTP 방식은 GPU 환경에서 20-40%의 속도 향상을 제공하지만 메모리 점유율이 높아지는 트레이드오프가 존재하며, CPU 환경에서는 여전히 NTP가 권장됩니다.

핵심 포인트

• NTP 모델 사용 시, 메모리 예산이 허용한다면 낮은 bpw보다 더 큰 모델을 선택하는 것이 품질과 속도 모두에서 유리함
• MTP 방식은 GPU에서 약 20-40%의 생성 속도 향상을 제공하지만, 추가적인 메모리 점유율(Memory Footprint)을 고려해야 함
• CPU 환경에서는 MTP의 성능 이점이 낮아 NTP 모델 사용을 권장함
• 하드웨어 사양(VRAM 용량 등)에 따라 최적의 양자화 모델 선택이 달라질 수 있음