거대 언어 모델(LLM) 추론은 모델 가중치와 KV 캐시가 빠르게 증가함에 따라 GPU의 고대역폭 메모리(HBM) 용량에 점차 제한을 받고 있습니다. 고대역폭 플래시(HBF)는 HBM보다 높은 용량을 제공하면서도 유사한 대역폭을 유지하여, 용량 제약이 있는 LLM 추론에 유망한 기판입니다. 하지만 본질적으로 높은 접근 지연 시간, 낮은 대역폭 활용률, 이기종 자원 관리에 대한 지원 부족 등의 문제로 인해 HBF를 GPU의 LLM 추론에 통합하기 어렵습니다. 우리는 HBF를 사용하여 효율적인 LLM 추론을 가능하게 하는 공동 설계 시스템인 FlashAccel을 제시합니다. FlashAccel은 HBM 기반 GPU에 HBF를 통합하여 접근 지연 시간을 완화하는 아키텍처 지원을 제공합니다. 또한, 모델 가중치와 KV 캐시 모두에 대한 특수 데이터 레이아웃을 통해 대역폭 활용률을 개선하고, 지속적인 데이터를 HBF에 구성하며 시스템 수준에서 이기종 메모리 자원을 조정하기 위해 HBF 인식 스토리지 관리 계층과 프로그래밍 모델을 도입합니다. 실험 결과는 6개의 HBF 스택을 GPU에 통합하는 것이 FlashAccel이 100ms 지연 시간 제약 하에서 HBM 전용 GPU 대비 처리량(throughput)에서 평균 2.54$ imes$, 에너지 효율성(energy efficiency)에서 1.93$ imes$의 개선을 달성할 수 있음을 보여줍니다.