7,440억 개(billion)의 파라미터가 있는 AI 모델이 단지 25GB의 RAM을 가진 장비에서 실행되었습니다.

그래픽 카드는 사용하지 않았습니다.

이 프로젝트는 colibri라는 이름입니다.

이는 GLM-5.2, 즉 7,440억 개(B) 파라미터의 Mixture-of-Experts (MoE) 모델과 함께 작동하며, 생성되는 각 토큰에 대해 약 400억 개(B)의 파라미터만 사용합니다.

수백 기가바이트를 메모리로 강제 로드하는 대신, colibri는 9.9GB의 런타임을 로드하여 필요한 전문가 모델(experts)을 필요할 때마다 SSD에서 직접 가져옵니다.

이는 다음을 의미합니다:

• 순수 C 구현
• 런타임 의존성 없음
• 25GB RAM으로 작동 가능
• GPU 불필요
• 전체 모델이 로컬에 유지됨

성능은 아주 뛰어나지는 않습니다.

전문가 모델이 이미 캐시되어 있지 않은 경우, 시스템은 다음 토큰을 생성하기 전에 디스크에서 최대 11GB를 읽어야 할 수 있습니다. 실제로 이는 약 10~20초마다 한 개의 토큰을 의미합니다.

따라서 이것은 ChatGPT와 경쟁하는 것이 아닙니다.

다른 것을 증명하고 있는 것입니다.

거대한 모델이 실행되기 전에 전체가 RAM에 맞춰져야 한다는 오랫동안 지속된 가정은 항상 사실이 아닌 경우도 있습니다.

그것이 진정한 돌파구입니다.

100% 오픈 소스.