psmarter/mini-infer:从零构建的 LLM 推理引擎
요약
GitHub 레포지토리 psmarter/mini-infer 는 PyTorch 기반의 완전한 LLM 추론 엔진입니다. 페이지드 KV 캐시, 컨티뉴어스 배치, 스펙ulative decoding, CUDA graph 등 최신 최적화 기법들을 모두 구현하여 오픈소스 커뮤니티에서 주목받고 있습니다.
핵심 포인트
- PyTorch 기반의 완전한 LLM 추론 엔진 (LLM inference engine) 을从头부터 구현했습니다.
- 페이지드 KV 캐시(paged KV cache), 컨티뉴어스 배치(continuous batching),_CHUNKED prefill, prefix caching 등 핵심 최적화 기술을 적용했습니다.
- CUDA graph, tensor parallelism, speculative decoding, MoE 지원 등 고성능 추론을 위한 다양한 기능을 제공합니다.
- OpenAI 호환 API 를 지원하는 서버.Serveing 기능을 내장하여 쉽게 배포할 수 있습니다.
psmarter/mini-infer
Repository: psmarter/mini-infer
Language: Python
Stars: 190
Forks: 10
Topics: continuous-batching, cuda, inference, inference-engine, kv-cache, language-model, llm, machine-learning, moe, pagedattention, pytorch, quantization, speculative-decoding, tensor-parallelism, transformer, triton
Description:
LLM inference engine from scratch — paged KV cache, continuous batching, chunked prefill, prefix caching, speculative decoding, CUDA graph, tensor parallelism, OpenAI-compatible serving
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기