MemLLM: 사전 계산된 KV 캐시를 사용한 온디바이스 검색 증강 생성의 종단 간 스토리지 가속

원문 발행 2026. 10. 16. 04:27원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

MemLLM은 온디바이스 RAG의 병목 현상을 해결하기 위해 제안된 아키텍처입니다. 이 시스템은 SSD 내에서 사전 계산된 KV 캐시를 기반으로 전체 어텐션 파이프라인을 실행하는 종단 간 인스토리지 처리(ISP) 방식을 사용합니다. 이를 통해 PCIe 전송을 최소화하고, 하드웨어 필터 로직과 결합하여 NAND 읽기 볼륨 및 쓰기 페널티를 줄였습니다.

핵심 포인트

SSD 내에서 KV 캐시 기반 어텐션 파이프라인 실행 (ISP 아키텍처)
PCIe 전송 최소화를 위해 스토리지 측에서 계산 가속화
하드웨어 필터 로직으로 NAND 읽기 볼륨 절반 감소 및 쓰기 페널티 제거
전역 SRAM 기반 상태 저장 엔진으로 내부 메모리 병목 현상 해소

엣지 디바이스에서의 검색 증강 생성(RAG)은 개인 정보 보호를 유지하면서 맞춤형 대규모 언어 모델(LLM) 추론을 가능하게 합니다. 그러나 RAG의 본질적인 길이 비대칭성 때문에 프리필 단계가 지배적인 병목 현상을 만듭니다. KV 캐시를 오프라인으로 사전 계산하는 것은 서버 시스템에서 프리필 비용을 완화하지만, 다중 기가바이트에 달하는 캐시는 좁은 인터커넥트 위에서 온디바이스 시스템에게 심각한 I/O 벽을 만듭니다. 이를 완화하기 위해, 우리는 SSD 내에서 사전 계산된 KV 캐시를 기반으로 전체 어텐션 파이프라인을 실행하는 종단 간 인스토리지 처리(ISP) 아키텍처인 MemLLM을 제안합니다. MemLLM은 채널별 가속기를 활용하여 집계된 NAND 채널 대역폭을 완전히 사용하고, 모든 KV 캐시 관련 계산을 스토리지 측에서 가속하여 PCIe 전송을 최소화합니다. RAG가 요구하는 희소 업데이트를 효율적으로 처리하기 위해, MemLLM은 하드웨어 기반 필터 로직과 결합된 융합 재계산-쿼리 커널을 도입하여 NAND 읽기 볼륨을 절반으로 줄이고 쓰기 백(write-back) 페널티를 제거합니다. 또한, MemLLM의 전역 SRAM 기반 상태 저장 감소 엔진은 완전히 DRAM이 없는 데이터 흐름을 가능하게 하여 내부 메모리 병목 현상을 제거하고 PCIe 출력을 $O(1)$ 흔적으로 제한합니다. 전체 스택 소프트웨어는 ISP에서 호스트로 비동기적이고 제로 카피 전송을 허용하며, 최신 ML 프레임워크 내에 투명한 실행을 제공합니다. 8개의 실제 RAG 데이터셋과 6개의 온디바이스 LLM 모델에 걸쳐 평가된 MemLLM은 GPU 기준 대비 평균 종단 간 속도 향상(speedup) 4.06$ imes$를 달성했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

MemLLM: 사전 계산된 KV 캐시를 사용한 온디바이스 검색 증강 생성의 종단 간 스토리지 가속

요약

핵심 포인트

댓글