StreamDQ: 맞춤형 HBM에서의 근접 메모리 가중치 디양자화(Weight DeQuantization)를 통한 확장 가능한 AI 추론 가속

요약

본 논문은 대규모 언어 모델(LLMs)의 메모리 및 연산 요구 증가에 따른 병목 현상을 해결하기 위한 아키텍처 개선 방안인 StreamDQ를 제안합니다. StreamDQ는 HBM 베이스 다이에 DeQuantization Blocks (DQBs)를 통합하여, 온디바이스 디양자화를 인라인으로 수행함으로써 고처리량 LLM 추론 가속을 목표로 합니다.

핵심 포인트

• LLMs의 메모리 및 연산 요구 증가가 주요 병목 현상을 초래함.
• 기존 GPU 기반 디양자화는 명령어 오버헤드와 트래픽 문제를 야기함.
• StreamDQ는 HBM 베이스 다이에 DQBs를 통합하여 온디바이스 디양자화를 구현함.
• 이를 통해 고처리량 대규모 배치 LLM 추론이 가능해짐.