GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터

요약

WASTE는 C 언어로 작성된 임베디드 추론 엔진으로, NVMe에서 가중치를 직접 스트리밍하여 RAM 용량을 초과하는 대규모 모델을 실행할 수 있게 합니다. 모델 트렁크는 메모리에 유지하고 필요한 전문가(experts)만 디스크에서 불러와 효율적인 추론을 지원합니다.

핵심 포인트

• C 언어 기반의 제3자 의존성 없는 임베디드 추론 엔진
• NVMe 스트리밍을 통해 RAM 용량 이상의 2.78조 파라미터 모델 지원
• 모델 트렁크 메모리 유지 및 전문가 캐시 활용 최적화