TQIR: 대역폭 효율적인 엣지 LLM 가속을 위한 정수 재구성을 갖춘 트렐리스 양자화

요약

본 논문은 LLM 추론의 메모리 대역폭 한계를 극복하기 위해 TQIR이라는 알고리즘-하드웨어 공동 설계를 제안합니다. TQIR은 저장 정밀도와 계산 정밀도를 분리하고, INT8 또는 INT4 코드를 사용하여 런타임에 정확한 정수 GEMM 경로를 유지하는 것이 핵심입니다. 이 구성 가능한 디코더는 TSMC 16-nm 공정에서 높은 성능과 면적 효율성을 입증했습니다.

핵심 포인트

• TQIR은 저장 정밀도와 계산 정밀도를 분리하여 트레이드오프를 개선합니다.
• INT8/INT4 코드를 사용하여 런타임에 정수 GEMM 데이터 경로를 유지합니다.
• 역 Hadamard 변환을 활성화 측으로 재배치하여 변환 비용을 줄였습니다.
• TSMC 16-nm 공정에서 높은 성능(307.2 Gweights/s)과 면적 효율성을 달성했습니다.