엣지 디바이스에서 구동되는 대규모 언어 모델(LLMs)은 제한된 메모리와 대역폭의 제약을 받습니다. 비록 1.58-bit 삼진(ternary) 가중치가 모델 저장 공간을 크게 줄여주지만, 장문맥 추론 과정에서는 KV-cache 트래픽과 어텐션 메커니즘이 점점 병목 현상을 일으키고 있습니다. 기존의 가속기들은 또한 삼진 선형 레이어와 어텐션을 위해 별도의 데이터 경로(datapaths)를 사용함으로써 하드웨어 및 실행 오버헤드를 발생시킵니다.
저희는 효율적인 장문맥 엣지 추론을 위한 희소 삼진 LLM 가속기인 SPARTA를 제시합니다. SPARTA는 다음 세 가지 요소를 통합합니다: (1) 계산 집약적인 프리필(prefill)과 메모리 집약적인 디코드(decode) 전반에 걸쳐 이질적 희소성(heterogeneous sparsity)을 활용하는 단계 인식형 희소 데이터 흐름(phase-aware sparse dataflow); (2) 삼진 SpMM/SpMV 및 비트 직렬 어텐션(bit-serial attention)을 공유 처리 요소(shared processing elements)에 매핑하여 제로 가중치 및 제로 비트 희소성을 활용하는 통합 컴퓨팅 패브릭(unified compute fabric); 그리고 (3) 페이지 레벨 Top-k 선택으로 K-cache 접근을 줄이고 토큰 레벨 Top-p 가지치기(pruning)를 통해 V-cache 트래픽을 줄이는 것을 결합한 적응형 2단계 어텐션 엔진입니다.
SPARTA는 작업 의존적 품질 손실과 함께, 전체 어텐션 대비 KV 트래픽을 4.14.8배, 그리고 최첨단 희소 어텐션(sparse-attention) 방식 대비 1.31.5배 감소시킵니다. NVIDIA Jetson AGX Orin과 비교했을 때, SPARTA는 평균적으로 3.9배 높은 생성 처리량(generation throughput)과 8.3배 높은 종단 간 에너지 효율성(end-to-end energy efficiency)을 달성합니다. AMD Ryzen 7 9700X와 비교했을 때는 각각 5.0배, 81.7배의 향상을 보입니다. 또한 FIGLUT, TeLLMe, MCBP 대비로는 1.612.0배 높은 처리량, 2.04.2배 높은 에너지 효율성, 그리고 1.3~51.4배 높은 면적 효율성을 제공합니다.