GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터
요약
WASTE는 C 언어로 작성된 임베디드 추론 엔진으로, NVMe에서 가중치를 직접 스트리밍하여 RAM 용량을 초과하는 대규모 모델을 실행할 수 있게 합니다. 모델 트렁크는 메모리에 유지하고 필요한 전문가(experts)만 디스크에서 불러와 효율적인 추론을 지원합니다.
핵심 포인트
- C 언어 기반의 제3자 의존성 없는 임베디드 추론 엔진
- NVMe 스트리밍을 통해 RAM 용량 이상의 2.78조 파라미터 모델 지원
- 모델 트렁크 메모리 유지 및 전문가 캐시 활용 최적화
WASTE는 제3자 런타임 의존성(third-party runtime dependencies)이 없는 C 언어로 작성된 임베디드 추론 엔진(inference engine)입니다. 이 엔진은 모델 트렁크(model trunk)를 메모리에 유지하고, 선택된 전문가(experts)를 디스크에서 직접 스트리밍하며, 남은 RAM을 제한된 전문가 캐시(expert cache)로 사용합니다.
submitted by /u/ab2377
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0