ComfyUI 양자화 벤치마크: 10개 GPU, 15개 모델, 467회 실행을 통해 int8 ConvRot, nvfp4, w4a8, fp8을

저는 '제 카드에 어떤 양자화를 사용해야 할까요?'에 대한 실제 수치를 원했기 때문에 직접 측정했습니다. Anima, Z-Image, MOSS-Image, Krea 2 및 SDXL/Illustrious의 기본 버전과 터보 버전을 대상으로, 다섯 가지 저장 형식(fp8 cast, fp8 scaled, int8 ConvRot, w4a8, nvfp4)을 bf16 원본과 비교했습니다. 품질은 RTX PRO 6000과 3090에서 평가되었으며, 속도와 적합성은 다음 열 개의 카드(PRO 6000, 5090, 5080, 5070 Ti 두 개, 5060 Ti, 3090, 3080 Ti, 3080, 3060 Ti)에서 측정되었습니다. 모든 것은 기본 메모리 처리를 사용하는 순정 ComfyUI이며, 동일한 시드와 프롬프트를 사용했습니다. 보고서(카드 선택 + 모델을 지정하는 '제 카드로 실행될까요?' 박스 포함): https://ai-evolution.dev/quant-bench/ (스크롤하기를 선호하시면 모든 옵션이 나열된 PDF 파일도 있습니다.) 제가 얻은 결론은 다음과 같습니다:

• int8 ConvRot은 테스트한 모든 모델에서 가장 충실한 형식이며, RTX 30 카드에서는 적합할 때 bf16 대비 약 2배 빠른 속도를 보여 가장 빠릅니다.
• nvfp4는 RTX 50에서 가장 빠르지만 오차(drift)가 가장 많이 발생합니다. w4a8은 모든 모델에서 nvfp4보다 더 정확했습니다.
• 이미 양자화된 모델에 터보 LoRA를 적용하지 마십시오. 로드 시간에 적용될 때, 대부분의 LoRA는 라운드를 변경하여 값이 변합니다. 먼저 bf16으로 병합한 다음 양자화하십시오.
• 8GB 카드도 생각보다 많은 것을 실행할 수 있습니다. Z-Image와 MOSS는 3060 Ti에서 int8로 완전히 적합하며, 스트리밍을 해야 하는 bf16보다 약 두 배 빠르게 작동합니다. Krea 2 역시 이미지당 약 1.5분으로 실행 가능합니다.
• 실행에 실패한 것은 아무것도 없습니다. ComfyUI의 동적 VRAM은 시스템 RAM에서 적합하지 않은 모든 것을 스트리밍합니다. 이는 충돌을 일으키는 것이 아니라 속도를 희생하는 것입니다.
• 품질은 카드가 아닌 GPU 세대에 따라 달라집니다. 모든 RTX 50 카드는 PRO 6000과 몇 퍼센트 차이 내에서 일치했으며, 모든 RTX 30 카드는 3090과 일치했습니다.
• 사소한 사항: x4 PCIe 슬롯은 모델만 적합하면 비용이 들지 않습니다. 생성 카드에 장착된 모니터는 몇 퍼센트의 비용을 차지하며, 주로 빠른 모델에서 두드러집니다. 전력 제한 50W당 에너지 절약량 약 3%를 위해 속도가 46% 감소합니다. 언더볼팅은 전력 소모가 약 20% 적으면서도 속도를 510% 감소시킵니다.

누락된 모델: RTX 40 시리즈. 저는 해당 모델을 가지고 있지 않으며, 이 세대는 fp8 하드웨어는 있지만 fp4는 없는 세대입니다. 만약 소유하고 계시다면, Linux 또는 Windows(WSL2)에서 Docker를 사용하여 동일한 테스트를 실행하는 테스트 키트가 있습니다: 클론 후 ./run.sh를 실행하여 zip 파일을 보내주시면, 귀하의 카드가 기여와 함께 페이지에 등록됩니다. https://github.com/LSDJesus/comfyui-quant-bench (전체 세트는 약 230GB 다운로드이며, --families 옵션을 사용하면 일부만 진행할 수 있습니다). 방법론 상세 내용, 모든 원시 숫자, 그리고 단계별 오차 곡선은 해당 페이지에 나와 있습니다. 질문에 답변하거나 특정 테스트를 실행하는 것을 기꺼이 도와드리겠습니다. (참고: 대부분의 양자화 모델(quants)은 HuggingFace 또는 Civitai.com에서 찾을 수 있으며, 만약 찾는 특정 모델이 없다면 제가 GitHub 리포지토리에 간단한 변환 도구를 넣을 수도 있지만, 원활하게 작동하려면 fp16/bf16 버전 접근 권한이 필요합니다.) (추신: 페이지의 벤치마크 하네스 및 프론트엔드 코드는 AI의 도움을 받아 작성되었지만, 아이디어 구상과 검증은 모두 제가 수행했습니다.) (두 번째 추신: 엄청난 수의 GPU에 접근할 수 있는 행운 덕분에, 이 결과를 여러분과 공유하는 것이 시간과 노력의 가치가 있다고 느껴졌습니다. 이러한 모델과 툴링을 가능하게 하는 커뮤니티에 기여하게 되어 기쁩니다.) 제출자: /u/mybrianonacid [링크] [댓글]