Mage-Flow W4A8 + ARA를 TE INT 8로 구현한 버전 공개
요약
ComfyUI의 네이티브 양자화 커널을 활용하여 microsoft/Mage-Flow 모델의 4비트 빌드와 정확도 복구 어댑터(ARA)를 공개했습니다. 선택적으로 INT8 텍스트 인코더를 사용하면 약 3.7 GB의 VRAM 절약 효과가 있습니다.
핵심 포인트
- Mage-Flow 모델을 ComfyUI에서 4비트로 실행 가능하게 구현함.
- ARA(Accuracy Recovery Adapter)를 통해 4비트 모델의 정확도를 복구함.
- INT8 텍스트 인코더 사용 시 약 3.7 GB VRAM 절약 효과가 있음.
ComfyUI의 네이티브 양자화 커널에서 실행되는 microsoft/Mage-Flow의 4비트 빌드와, 4비트 모델을 BF16 원본에 가깝게 복구하는 작은 정확도 복구 어댑터(ARA)를 추가했습니다. 선택적으로 INT8 텍스트 인코더를 사용하면 약 3.7 GB의 VRAM을 더 절약할 수 있습니다. 레포지토리: https://huggingface.co/SearchingMan/Mage-Flow-W4A8-ARA /u/ThaJedi가 제출했습니다 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기