TokenStack: A Heterogeneous HBM-PIM Architecture and Runtime for Efficient LLM

요약

본 기술 기사는 대형 언어 모델(LLM) 서빙의 주요 병목인 KV 캐시 메모리 문제를 해결하기 위해 'TokenStack'이라는 이질적인 HBM-PIM 아키텍처를 제안합니다. TokenStack은 LLM 레이어를 밀집 용량 영역과 PIM 활성화 컴퓨팅 영역으로 수직 분리하고, 논리 기반 디어 컨트롤러를 사용하여 효율적으로 데이터 이동 및 관리를 수행합니다. 이를 통해 뜨거운 KV 캐시 데이터를 PIM 근처에 유지하고 차가운 상태는 고밀도 저장소로 옮겨 메모리 대역폭과 용량을 최적화하며, 기존 방식 대비 높은 처리량 증가와 에너지 효율성 개선을 입증했습니다.

핵심 포인트

• TokenStack은 LLM 서빙의 KV 캐시 병목 현상을 해결하기 위해 설계된 이질적인 HBM-PIM 아키텍처입니다.
• 아키텍처는 레이어를 밀집 용량(Dense Capacity) 영역과 PIM 활성화 컴퓨팅(Active Computing) 영역으로 수직 분리하여 자원 활용을 최적화합니다.
• 논리 기반 디어 컨트롤러가 DMA, 주소 변환, 양자화 등을 처리하며 호스트 오버헤드를 줄이고 레이어 간 데이터 이동을 관리합니다.
• TokenStack은 뜨거운 KV 데이터를 PIM 근처에 유지하고 차가운 상태를 밀집 저장소로 옮겨 메모리 대역폭과 용량을 효율적으로 분리합니다.
• 실제 테스트 결과, TokenStack은 기존 방식 대비 토큰 처리량(throughput) 및 SLO 준수 서빙 용량을 크게 향상시키고 에너지 소비를 절감했습니다.