Colibri: 스토리지, RAM, VRAM 통합 관리를 통한 대규모 MoE 모델 추론 엔진

요약

Colibri는 스토리지(storage), RAM, VRAM을 단일한 계층 구조로 통합 관리하는 순수 C 언어 기반의 추론 엔진입니다. 이 혁신적인 접근 방식을 통해 최대 2조 8천억 개의 파라미터를 가진 대규모 MoE 모델도 일반 소비자용 하드웨어에서 구동할 수 있게 합니다.

핵심 포인트

• 스토리지, RAM, VRAM을 통합 관리하는 새로운 아키텍처 제시
• 최대 2.8조 파라미터급 대규모 MoE 모델 지원 가능
• 일반 소비자용 하드웨어에서의 고성능 추론 실현
• 순수 C 언어 기반의 효율적인 엔진 설계