GPU 없이 64GB RAM으로 284B AI 모델을 실행할 수 있을까?
오픈소스 프로젝트 llama-modchip이 DeepSeek-V4-Flash를 CPU만으로 실행하는 기술을 공개했습니다.
핵심은 단순히 모델을 압축한 것이 아닙니다. 모델의 양자화와 CPU 연산 구조를 함께 최적화했습니다.
어떻게 가능할까요?
- 모델 압축
284B 전체 파라미터 중 토큰마다 약 13.17B만 활성화되는 MoE(전문가 혼합) 구조를 활용합니다.
중요한 것은 전체 전문가의 가중치도 메모리에 저장해야 한다는 점입니다.
llama-modchip은 Fractal-64 양자화와 SwiGLU-H2 압축을 적용해 기존 76.87GiB 체크포인트를 56.56GiB로 줄였다고 주장합니다. 약 26.4% 감소입니다.
- CPU 최적화
AVX-512 벡터 연산과 L1·L2·L3 캐시를 고려한 연산 배치를 적용합니다.
데이터를 CPU가 효율적으로 처리할 수 있도록 배치해 메모리 접근 병목을 줄이는 방식입니다.
- 실행 성능
제작자 측정 기준:
- 하드웨어: AMD Ryzen 9 9955HX
- 메모리: 64GB
- GPU: 0개
- 컨텍스트: 256K
- 메모리 사용량: 57.61~58.9GiB
- 프리필: 최대 44.36 tok/s
- 일반 디코드: 9.06~9.95 tok/s
- 추측 디코딩 적용: 11.5~14.7 tok/s
여기서 흥미로운 점이 하나 있습니다.
64GB는 약 59.6GiB입니다. 최대 58.9GiB를 사용한다면 운영체제와 다른 프로그램이 쓸 메모리까지 고려했을 때 상당히 빠듯합니다.
즉, 64GB에서 실행된다는 것과 64GB에서 여유롭게 운영할 수 있다는 것은 다른 이야기입니다.
제가 주목하는 부분은 GPU 없이 대형 모델을 실행했다는 사실보다, 모델 압축과 CPU 최적화를 결합해 기존 하드웨어의 한계를 낮추려는 접근입니다.
앞으로 로컬 AI의 경쟁력은 더 큰 GPU를 확보하는 것뿐 아니라, 제한된 메모리와 연산 자원에서 모델의 성능을 얼마나 보존하느냐에도 달려 있을 수 있습니다.
다만 위 성능은 제작자 자체 측정이며, 원본 모델과 동등한 실사용 품질이 독립적으로 입증된 것은 아닙니다.
여러분은 로컬 AI의 다음 병목이 GPU 성능이라고 보시나요, 아니면 메모리 압축과 CPU 최적화라고 보시나요?
#로컬AI #DeepSeek #LLM #양자화 #AI인프라
