DUAL-BLADE: 엣지 LLM 추론을 위한 듀얼 패스 NVMe-직접 KV 캐치 오프로딩

요약

본 기술 기사는 엣지 AI 시스템의 LLM 추론 시 발생하는 KV 캐시 메모리 부족 문제를 해결하기 위한 DUAL-BLADE 프레임워크를 제안합니다. 기존 NVMe 오프로딩 방식이 커널 페이지 캐시에 의존하여 지연 시간과 오버헤드가 높았던 단점을 개선했습니다. DUAL-BLADE는 런타임에 KV 텐서를 GPU 메모리(페이지 캐시) 또는 파일 시스템을 우회하는 직접적인 NVMe 경로로 동적으로 할당하며, I/O와 GPU DMA를 중첩하여 추론 처리량을 크게 향상시키는 것이 핵심입니다.

핵심 포인트

• 엣지 LLM 추론의 주요 병목 현상은 제한된 메모리 예산 하에서의 KV 캐시 관리 문제입니다.
• 기존 NVMe 오프로딩은 커널 페이지 캐시에 의존하여 성능 저하(캐시 스래싱, 높은 지연 시간)가 발생했습니다.
• DUAL-BLADE는 런타임에 KV 텐서를 GPU 메모리 또는 직접적인 NVMe 경로로 동적으로 할당하는 하이브리드 프레임워크입니다.
• NVMe-직접 패스는 파일 시스템을 우회하여 저오버헤드의 스토리지 액세스를 제공하며, I/O와 GPU DMA를 중첩시켜 효율성을 극대화합니다.
• 평가 결과, DUAL-BLADE는 디코드 지연 시간을 최대 42.4% 감소시키고 SSD 활용도를 2.2배 향상시키는 성능을 입증했습니다.