Blackwell에서 INT8 Q/DQ가 TRT 10 + auto-FP16보다 1.8배 우수함 — 실용적인 보정(calibration) 작성기

요약

최신 TensorRT 11 빌드는 명시적인 INT8 양자화(Q/DQ)를 강제하여, 기존 auto-FP16 방식보다 성능이 우수함을 입증했습니다. RTX 5090에서 수행된 테스트 결과, 동일 하드웨어에서 이전 대비 약 1.8배 향상된 추론 속도(71k NPS vs 39.5k NPS)를 기록하며, 최신 GPU 아키텍처의 전용 INT8 경로 활용 가능성을 보여주었습니다.

핵심 포인트

• TensorRT 11은 명시적 INT8 양자화를 강제하여 성능을 개선했습니다.
• INT8 Q/DQ 방식이 auto-FP16보다 추론 속도에서 약 1.8배 우수합니다.
• NVIDIA ModelOpt와 보정 샘플을 사용한 PTQ 과정이 핵심입니다.
• 최신 GPU 아키텍처의 전용 INT8 경로 활용이 가능해졌습니다.