Qwen3.6-27B KLDs - INTs and NVFPs

UPDATED.

NOTICE

Qwen 의 FP8 은 INT8 보다 성능이 떨어집니다. 이는 Qwen 의 FP8 이 대부분 W8A8 구조인 반면, INT8 은 W8A16 구조이기 때문입니다. 다시 말해, 활성화 (Activations) 가 중요한 역할을 합니다. W8A8 은 8bit 로 유지되므로 이론상 더 빨라야 하지만 실제로는 그렇지 않을 수 있습니다.

더 많은 데이터를 추가할 예정이지만, 현재로서는 모델을 선택하실 때 참고하시기 바랍니다. 사용 사례 (USE-CASE) 가 매우 중요합니다.

• THoTD 의 NVFP 크기가 다른 모델보다 큽니다.
  • 이는 THoTD 가 NVFP4A16 구조인 반면, 다른 모델은 NVFP4(A4) 구조이기 때문입니다.
    • NVFP4(A4) 는 4bit 로 전체적으로 유지되므로, 배치 처리 (batching) 를 수행할 경우 배치 처리가 진행됨에 따라 더 나은 성능을 볼 수 있습니다.
• Cyan 모델에서 INT4 에서 BF16-INT4 로 전환 시 메모리 사용량이 급격히 증가합니다.
  • 이는 고려해볼 만한 점입니다. 혼합 정밀도 (Mixed-precision) 는 놀라운 성능을 보이지만, 더 많은 공간을 차지합니다. 0.02 의 정확도 향상을 위해 6GB 의 컨텍스트 공간을 잃어도 될까요? 이는 각자가 결정해야 할 사항입니다.

더 많은 모델이 온라인에 등장함에 따라 그래프에 추가할 예정입니다. 아는 것이 많을수록, 당신에게 맞는 최적의 양자화 방식을 첫 번째로 잡으세요!