요약

GitHub 레포지토리 psmarter/mini-infer 는 PyTorch 기반의 완전한 LLM 추론 엔진입니다. 페이지드 KV 캐시, 컨티뉴어스 배치, 스펙ulative decoding, CUDA graph 등 최신 최적화 기법들을 모두 구현하여 오픈소스 커뮤니티에서 주목받고 있습니다.

핵심 포인트

• PyTorch 기반의 완전한 LLM 추론 엔진 (LLM inference engine) 을从头부터 구현했습니다.
• 페이지드 KV 캐시(paged KV cache), 컨티뉴어스 배치(continuous batching),_CHUNKED prefill, prefix caching 등 핵심 최적화 기술을 적용했습니다.
• CUDA graph, tensor parallelism, speculative decoding, MoE 지원 등 고성능 추론을 위한 다양한 기능을 제공합니다.
• OpenAI 호환 API 를 지원하는 서버.Serveing 기능을 내장하여 쉽게 배포할 수 있습니다.