Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 LLM 추론 시 HBM 용량 제약을 극복하기 위한 새로운 공동 설계 시스템인 FlashAccel을 소개합니다. FlashAccel은 HBF(고대역폭 플래시)를 HBM 기반 GPU에 통합하여 접근 지연 시간을 완화하고, 특수 데이터 레이아웃 및 스토리지 관리 계층을 통해 대역폭 활용률과 이기종 자원 관리를 개선했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기거대 언어 모델(LLM) 추론은 모델 가중치와 KV 캐시가 빠르게 증가함에 따라 GPU의 고대역폭 메모리(HBM) 용량에 점차 제한을 받고 있습니다. 고대역폭 플래시(HBF)는 HBM보다 높은 용량을 제공하면서도 유사한 대역폭을 유지하여, 용량 제약이 있는 LLM 추론에 유망한 기판입니다. 하지만 본질적으로 높은 접근 지연 시간, 낮은 대역폭 활용률, 이기종 자원 관리에 대한 지원 부족 등의 문제로 인해 HBF를 GPU의 LLM 추론에 통합하기 어렵습니다. 우리는 HBF를 사용하여 효율적인 LLM 추론을 가능하게 하는 공동 설계 시스템인 FlashAccel을 제시합니다. FlashAccel은 HBM 기반 GPU에 HBF를 통합하여 접근 지연 시간을 완화하는 아키텍처 지원을 제공합니다. 또한, 모델 가중치와 KV 캐시 모두에 대한 특수 데이터 레이아웃을 통해 대역폭 활용률을 개선하고, 지속적인 데이터를 HBF에 구성하며 시스템 수준에서 이기종 메모리 자원을 조정하기 위해 HBF 인식 스토리지 관리 계층과 프로그래밍 모델을 도입합니다. 실험 결과는 6개의 HBF 스택을 GPU에 통합하는 것이 FlashAccel이 100ms 지연 시간 제약 하에서 HBM 전용 GPU 대비 처리량(throughput)에서 평균 2.54$ imes$, 에너지 효율성(energy efficiency)에서 1.93$ imes$의 개선을 달성할 수 있음을 보여줍니다.