순수 C 언어, 제로 의존성 추론 엔진으로 MoE 전문가를 디스크에서 스트리밍하여 744B GLM-5.2를 25GB 메모리의 일반 PC에서도

요약

순수 C 언어로 개발된 제로 의존성 추론 엔진을 통해, 일반 PC의 제한적인 메모리 환경에서도 대규모 MoE 모델 구동이 가능해졌습니다. 이 엔진은 744B 규모의 GLM-5.2와 같은 전문가들을 디스크에서 스트리밍 방식으로 읽어 들여, 필요한 부분만 메모리에 로드하여 효율성을 극대화합니다.

핵심 포인트

• C 언어 기반으로 개발되어 의존성이 낮습니다.
• 디스크 스트리밍을 통해 대용량 MoE 모델 구동이 가능합니다.
• 25GB 일반 PC에서도 744B 규모의 GLM-5.2를 구동할 수 있습니다.