대규모 언어 모델(LLMs)이 규모를 키우면서, 이들의 메모리 및 연산 요구 사항은 크게 증가했습니다. 이에 따라 가중치만 양자화하는 기법은 정확도 손실을 최소화하면서 모델 크기를 줄이는 널리 채택된 기술이 되었습니다. 하지만 현재 GPU에서 CUDA 코어 기반의 디양자화(dequantization)는 상당한 명령어 오버헤드, 온칩 트래픽, 파이프라인 정지(pipeline stalls)를 유발하여, 고처리량 클라우드 규모 LLM 서비스에 주요 병목 현상을 초래합니다. 이러한 한계를 해결하기 위해, 우리는 StreamDQ라는 경량 아키텍처 개선 방안을 제안합니다. 이는 메모리 서브시스템에서 온디바이스(on-the-fly) 디양자화를 가능하게 하여 고처리량 대규모 배치 LLM 추론을 수행할 수 있게 합니다. StreamDQ는 고대역폭 메모리(HBM)의 베이스 다이(base die)에 컴팩트한 DeQuantization Blocks (DQBs)를 통합하고 인라인으로 수행합니다.