요약

SAOD(Session-Adaptive Orthogonal Distillation) 기술을 통해 744B 규모의 거대 모델을 100GB 미만으로 압축하는 연구를 소개합니다. 이를 통해 8GB VRAM 환경에서도 70-100B MoE 모델을 실행할 수 있는 가능성을 제시합니다.

핵심 포인트

• SAOD 기술을 활용한 대규모 모델의 획기적인 압축
• 744B 모델을 100GB 미만 크기로 경량화 가능
• 8GB VRAM 환경에서 대형 MoE 모델 실행 가능성 제시