순수 C 언어, 제로 의존성 추론 엔진으로 MoE 전문가를 디스크에서 스트리밍하여 744B GLM-5.2를 25GB 메모리의 일반 PC에서도
요약
순수 C 언어로 개발된 제로 의존성 추론 엔진을 통해, 일반 PC의 제한적인 메모리 환경에서도 대규모 MoE 모델 구동이 가능해졌습니다. 이 엔진은 744B 규모의 GLM-5.2와 같은 전문가들을 디스크에서 스트리밍 방식으로 읽어 들여, 필요한 부분만 메모리에 로드하여 효율성을 극대화합니다.
핵심 포인트
- C 언어 기반으로 개발되어 의존성이 낮습니다.
- 디스크 스트리밍을 통해 대용량 MoE 모델 구동이 가능합니다.
- 25GB 일반 PC에서도 744B 규모의 GLM-5.2를 구동할 수 있습니다.
MoE(Mixture of Experts) 전문가들을 디스크에서 스트리밍 방식으로 읽어 들여, 25GB 메모리를 가진 일반 컴퓨터가 744B의 GLM-5.2 모델을 구동할 수 있게 만든 순수 C 언어 기반의 제로 의존성 추론 엔진입니다.
일반 소비자용 컴퓨터(약 25GB 메모리, GPU 불필요)에서도 744B 규모의 MoE 대규모 언어 모델인 GLM-5.2를 구동하는 것이 목표였습니다. 해결책은 21504개의 라우팅 전문가들을 디스크에 저장하고(약 370GB), 필요할 때마다 스트리밍 방식으로 읽어 들여, 밀집된 부분(Dense part, 약 17B 파라미터)만을 int4 형식으로 메모리에 상주시키는 것(약 9.9GB)입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0