확장 가능한 장 문맥 LLM 서비스 제공을 위한 희소 주의력과 계층적 메모리 통합

장 문맥 (long-context) 대형 언어 모델 (LLM) 의 서비스 제공은 성장하는 KV 캐시에 대한 주의력 비용에 의해 병목화되고 있습니다. 동적 희소 주의력 (dynamic sparse attention) 은 디코딩 단계마다 KV 상태의 작은 쿼리 의존성 하위 집합만 접근하고 KV 저장소를 CPU 메모리로 확장함으로써 완화를 약속합니다. 그러나 실제로는 이러한 알고리즘적 절감은 거의 종단 간 시스템 수준의 이득으로 전환되지 않으며, 희소 방법은 일반적으로 다른粒度 (granularities) 에서 작동하므로 임의의, 알고리즘별 구현에 의존합니다. 동시에 계층적 KV 저장은 새로운 시스템 병목 현상을 도입합니다: GPU-CPU 경계를 가로질러 세분화된 불규칙한 KV 하위 집합을 검색하는 것은 희소성의 이점을 쉽게 소멸시킬 수 있습니다. 우리는 계층적 KV 저장소와 함께 실행 파이프라인을 공동 설계하는 희소 주의력 인식 추론 프레임워크인 SPIN 을 제시합니다. 이는 세 가지 기술을 통해 구현됩니다: (1) 서로 다른 희소粒度를 공유된 페이지 기반 KV 기판에 매핑하는 통합 파티션 추상화; (2) 요청당 HBM 예산을 동적으로 크기를 조절하고 PCIe 라운트-트립을 줄이기 위해 GPU 친화적인 버킷화된 LRU 정책을 사용하는 위치 인식 KV 캐시 관리자; 그리고 (3) 최악의 경우 주소 공간이 아닌 활성 작업 집합에 맞춰 크기를 설정하는 2 단계 계층적 메타데이터 레이아웃입니다. vLLM 기반이며 세 가지 대표적인 희소 주의력 알고리즘을 기반으로 구축된 SPIN 은 vLLM 대비 종단 간 처리량을 1.665.66 배 높이고 TTFT 를 79 배 낮추며, 기존 희소 주의력 구현 대비 TPOT 를 최대 58% 줄입니다.