PLoRA: 비용 효율적인 Multi-LoRA 서빙을 위한 NDP 강화 풀드 메모리 (Pooled-Memory) 시스템

요약

PLoRA는 Multi-LoRA 서빙의 메모리 병목 문제를 해결하기 위해 NDP(Near-Data Processing)와 풀드 메모리(Pooled-Memory)를 결합한 시스템입니다. CXL 및 NVLink 환경에서 어댑터와 KV 캐시를 효율적으로 관리하여 디코딩 지연 시간을 획기적으로 단축합니다.

핵심 포인트

• NDP 강화 풀드 메모리 아키텍처를 통한 Multi-LoRA 서빙 최적화
• S-LoRA 대비 평균 6.6배 낮은 디코딩 지연 시간 달성
• CXL 및 NVLink 기반의 읽기-연산(read-compute) 인터페이스 활용
• 링크 파라미터화된 비용 모델을 통한 최적의 실행 전략 선택
• 추가 장치 면적을 3.4% 미만으로 유지하며 높은 확장성 제공