Colibri 실습: GPU 없이 GLM-5.2 (744B)를 로컬에서 실행하기
요약
본 글은 colibrì 엔진을 사용하여 GPU 없이도 대규모 MoE 모델인 GLM-5.2 (744B)를 로컬 단일 컴퓨터에서 구동하는 실습 과정을 다룹니다. 핵심 원리는 필요한 전문가(expert)만 디스크에서 RAM으로 스트리밍하여 메모리 부담을 줄이는 것입니다. 이 엔진은 사용 시간이 길어질수록 성능이 향상되는 특징을 보여줍니다.
핵심 포인트
- colibrì는 MoE 전문가를 디스크에서 스트리밍하는 C 엔진입니다.
- GPU 없이도 744B급 모델 구동이 가능하며, RAM과 NVMe가 중요합니다.
- 사용 시간이 길어질수록 적중률(expert hit rate)이 높아져 속도가 빨라집니다.
colibrì(디스크에서 MoE 전문가를 스트리밍하는 순수 C 엔진)와 시간을 보내며, 실제로 단일 컴퓨터에서 GLM-5.2를 구동하는 실습을 진행했습니다. 핵심 트릭은 다음과 같습니다: 744B MoE는 토큰당 몇 개의 전문가만 활성화시키기 때문에, colibrì는 밀집된 부분(~10GB)을 RAM에 유지하고 라우팅된 전문가들을 필요할 때 디스크에서 스트리밍합니다. 전체 int4 모델은 디스크에 약 370GB가 필요하지만, 모든 것을 메모리에 담아둘 필요는 없습니다.
제 설정: 단일 컴퓨터, 132GB RAM, Ubuntu 22.04, 로컬 NVMe에 모델 저장. 그리고 실행 결과는 다음과 같습니다:
- 첫 토큰(cold first token): ~0.03 tok/s
- 몇 개의 짧은 프롬프트 후 전문가 적중률(expert hit rate)이 ~21%일 때: ~0.15 tok/s, 적중률 ~65%
- 더 따뜻해진 후(warmed further): ~0.22 tok/s, 적중률 ~71%, RSS ~113GB
적중률이 높아지는 것이 제가 보기에 매우 유망한 부분입니다. 이 엔진은 실제로 라우팅되는 전문가들을 고정하기 때문에, 크기에서 예상할 수 있는 것과는 반대로 사용할수록 빨라집니다. 전체 실습 영상은 여기를 참고하세요: https://youtu.be/jxML3S5C-8Y
이것은 정말로 GPU의 도움 없이 작동합니다.
제출자: /u/Lopsided_Dot_4557 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기