GRINQH: 효율적인 LLM 생성을 위한 등급별 입력 기반 양자화 계층 구조

LLM(Large Language Models)의 자기회귀 디코딩(Autoregressive decoding)은 주로 GPU 메모리 대역폭(memory bandwidth)에 의해 병목 현상이 발생하며, 특히 에지 컴퓨팅(edge-computing) 환경에서 더욱 그러합니다. 양자화(quantization)는 이러한 병목 현상을 완화하는 데 필수적이지만, 기존의 대부분의 방법은 추론을 균일한 프로세스로 취급하며 연산 중심(compute-bound)인 프리필(prefill) 단계와 메모리 중심(memory-bound)인 디코딩(decoding) 단계 사이의 비대칭성을 고려하지 못합니다. 우리는 양자화와 희소화(sparsification)를 통합하여 디코딩을 가속화하는 가중치 전용 사후 훈련 양자화(weight-only post-training quantization) 프레임워크인 GRINQH(GRaded INput-based Quantization Hierarchy)를 제안합니다. GRINQH는 활성화 크기(activation magnitudes)를 연산 중요도의 대리 지표(proxy)로 활용하여 가중치 채널을 서로 다른 정밀도 수준에 동적으로 할당함으로써, 디코딩 중에 유연한 평균 비트 너비(average bit widths)를 가능하게 합니다. Llama3 및 Qwen3 모델을 대상으로 평가한 결과, GRINQH는 유사한 3비트 및 4비트 설정에서 최첨단(state-of-the-art) 고정 및 혼합 정밀도(mixed-precision) 베이스라인보다 뛰어난 성능을 보였으며, 심지어 효과적인 2비트 생성까지 가능하게 했습니다. 우리는 맞춤형 GPU 커널에서 다중 정밀도 저장을 위한 계층적 중첩 메모리 레이아웃(hierarchical nested memory layout)을 활용하여 이론적인 속도 향상을 실험적으로 검증했습니다. 궁극적으로 GRINQH는 LLM 생성에 있어 새로운 최첨단 파레토 프런티어(Pareto frontier)를 구축하여, 생성 품질과 추론 속도 사이의 동적인 트레이드오프(trade-off)를 가능하게 합니다.