세상에나, 누군가 25GB RAM 노트북에서 7440억 파라미터 모델을 실행했습니다

요약

Colibri라는 단일 C 파일 기반 엔진을 통해 25GB RAM 노트북에서 744B 파라미터의 GLM-5.2 MoE 모델을 실행하는 데 성공했습니다. MoE 구조의 특성을 활용해 토큰당 활성화되는 파라미터만 스트리밍하는 방식으로 대규모 모델의 로컬 추론 가능성을 증명했습니다.

핵심 포인트

• 의존성 없는 단일 C 파일 엔진 Colibri 공개
• MoE 모델의 특성을 활용한 디스크 스트리밍 기술 적용
• 저사양 하드웨어에서도 대규모 모델 로컬 추론 가능성 제시
• 기존 클라우드 추론 API 중심의 시장 구조 변화 예고