MiniPIC: <100LOC에서 구현 가능한 유연한 위치 독립적 캐싱

요약

MiniPIC은 vLLM 기반 추론 서버에서 위치 독립적 캐싱(PIC)을 구현하기 위한 최소한의, 유연하고 빠른 설계를 제시합니다. 이 설계는 100줄 미만의 엔진 변경과 커스텀 어텐션 백엔드를 통해 KV 캐시 재사용 프리미티브를 제공하며, 블록 어텐션 및 프롬프트 캐시 등 다양한 PIC 방법을 지원합니다. 테스트 결과, MiniPIC은 기존 vLLM 대비 처리량을 크게 향상시키는 성능을 입증했습니다.

핵심 포인트

• 100LOC 미만의 코드로 위치 독립적 캐싱(PIC) 구현 가능
• KV 캐시 재사용 프리미티브를 통해 효율적인 추론 서버 구축
• MiniPIC은 블록 어텐션, 프롬프트 캐시 등 다양한 PIC 방법 지원
• 기준 vLLM 대비 인터리브 스케줄링 처리량 49% 향상