PIM 기반 LLM 활성화 양자화로 메모리 병목 해소 (AQPIM)

요약

본 논문은 데이터 집약적 ML의 메모리 병목 현상을 해결하는 유망한 아키텍처인 Processing-in-Memory (PIM)을 다룹니다. 기존 PIM 방식들은 특히 긴 컨텍스트에서 발생하는 거대한 KV 캐시 크기(활성화 메모리 발자국)를 처리하는 데 어려움을 겪었습니다. 본 연구는 이러한 문제를 해결하기 위해, 활성화 특성에 최적화된 새로운 PIM 인식 활성화 양자화 프레임워크인 AQPIM을 제안합니다. AQPIM은 Product Quantization (PQ) 기반으로 설계되어 메모리 내에서 직접 양자화를 수행함으로써, LLM의

핵심 포인트

• AQPIM은 PIM 환경에 특화된 새로운 활성화 양자화 프레임워크입니다.
• 이 방식은 Product Quantization (PQ)을 활용하여 메모리 내에서 직접 양자화를 수행합니다.
• AQPIM은 GPU-CPU 통신으로 인한 디코딩 지연 시간을 크게 줄여 성능을 향상시킵니다.
• 실험 결과, AQPIM은 기존 최고 수준의 PIM 접근 방식 대비 3.4배의 속도 향상을 달성했습니다.