Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
7,440억 개 파라미터의 MoE 모델(GLM-5.2)을 25GB RAM 장비에서 GPU 없이 구동하는 'colibri' 프로젝트가 소개되었습니다. 이 시스템은 전체 모델을 메모리에 로드하지 않고, 필요한 전문가 모델만 SSD에서 필요할 때마다 가져와 사용합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @DAIEvolutionHub (AI 자동화)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기7,440억 개(billion)의 파라미터가 있는 AI 모델이 단지 25GB의 RAM을 가진 장비에서 실행되었습니다.
그래픽 카드는 사용하지 않았습니다.
이 프로젝트는 colibri라는 이름입니다.
이는 GLM-5.2, 즉 7,440억 개(B) 파라미터의 Mixture-of-Experts (MoE) 모델과 함께 작동하며, 생성되는 각 토큰에 대해 약 400억 개(B)의 파라미터만 사용합니다.
수백 기가바이트를 메모리로 강제 로드하는 대신, colibri는 9.9GB의 런타임을 로드하여 필요한 전문가 모델(experts)을 필요할 때마다 SSD에서 직접 가져옵니다.
이는 다음을 의미합니다:
• 순수 C 구현
• 런타임 의존성 없음
• 25GB RAM으로 작동 가능
• GPU 불필요
• 전체 모델이 로컬에 유지됨
성능은 아주 뛰어나지는 않습니다.
전문가 모델이 이미 캐시되어 있지 않은 경우, 시스템은 다음 토큰을 생성하기 전에 디스크에서 최대 11GB를 읽어야 할 수 있습니다. 실제로 이는 약 10~20초마다 한 개의 토큰을 의미합니다.
따라서 이것은 ChatGPT와 경쟁하는 것이 아닙니다.
다른 것을 증명하고 있는 것입니다.
거대한 모델이 실행되기 전에 전체가 RAM에 맞춰져야 한다는 오랫동안 지속된 가정은 항상 사실이 아닌 경우도 있습니다.
그것이 진정한 돌파구입니다.
100% 오픈 소스.