InferScale: 개인화된 LLM 서빙을 위한 GPU 네이티브 KV 주입 (KV Injection)

요약

InferScale은 개인화된 컨텍스트를 위해 반복되는 프리필 과정을 생략하고, 사전 계산된 KV 상태를 vLLM의 페이지 캐시에 직접 주입하는 GPU 네이티브 메모리 시스템입니다. 이를 통해 검색되는 메모리 양이 늘어나도 첫 번째 토큰 생성 시간(TTFT)을 낮게 유지하며 높은 처리량을 제공합니다.

핵심 포인트

• 반복적인 프롬프트 프리필을 재사용 가능한 KV 상태로 대체하여 TTFT 감소
• Chunked RoPE를 도입하여 동적으로 조립된 메모리의 위치 임베딩 문제 해결
• Context-Window Encoding을 통해 사실 간의 컨텍스트 누락 완화
• vLLM 인터페이스를 활용하여 엔진 수정이나 미세 조정 없이 구현 가능
• 기존 방식 대비 TTFT를 최대 79% 감소시키고 처리량을 최대 4.5배 향상