I finetuned Qwen3-1.7B to imitate original Z-Image text encoder. 21% less VRAM

요약

이 기술 기사는 Qwen3-1.7B 모델을 파인튜닝하여 더 큰 Qwen3-4B의 텍스트 인코더 기능을 모방하는 방법을 제시합니다. 이 접근 방식은 DiT(Diffusion Transformer)에 전달되는 숨겨진 상태를 재구성함으로써, 기존 대비 VRAM 사용량을 최대 21%까지 줄일 수 있습니다. 특히 양자화가 적용될 경우 메모리 효율성이 더욱 높아질 것으로 기대됩니다.

핵심 포인트

• Qwen3-1.7B 모델을 사용하여 Qwen3-4B의 텍스트 인코더 기능을 모방하는 파인튜닝 기법을 구현했습니다.
• 이 방법은 DiT에 전달되는 숨겨진 상태를 재구성하여 메모리 효율성을 높입니다.
• 실험 결과, 기존 4B 모델 대비 VRAM 사용량을 약 21% (4.40 GB) 절감할 수 있었습니다.
• 제공된 어댑터는 양자화(quantization)가 적용될 경우 더욱 높은 메모리 효율성을 가질 것으로 예상됩니다.