Fizgig에서 MOSS 트레이닝의 매우 큰 속도 향상

요약

Fizgig을 통해 MOSS 트레이닝의 속도와 메모리 효율성이 크게 향상되었습니다. RTX 5090 환경에서 MOSS-Image LoRA 학습 시간이 49분에서 약 20분으로 단축되었으며, PyTorch 2.15를 활용한 Gradient Checkpointing으로 메모리 사용량도 대폭 줄였습니다. Muon의 경우 계산 속도가 단계별 처리 대신 일괄 처리를 통해 12배 빨라지는 등 전반적인 성능 개선이 이루어졌습니다.

핵심 포인트

• MOSS-Image LoRA 학습 시간이 약 20분으로 크게 단축되었습니다.
• PyTorch 2.15 Gradient Checkpointing 활성화로 메모리 사용량이 감소했습니다.
• Muon은 단계별 처리 대신 일괄 처리를 통해 계산 속도가 12배 빨라졌습니다.
• 배치 트레이닝 기능이 완전히 지원되어 활용성이 높아졌습니다.