HBFSim: LLM 메모리 계층 구조에서 HBF 탐색을 위한 시뮬레이터

요약

본 논문은 High Bandwidth Flash (HBF)의 잠재력을 탐구하기 위해 LLM 메모리 계층 구조 시뮬레이터인 HBFSim을 제안합니다. HBFSim은 HBM, HBF 등 이종 메모리를 통합 모델링하며, Llama-3.1-70B와 Qwen3-235B 등의 디코딩 워크로드를 분석했습니다. 이를 통해 HBF가 기존 DRAM 대비 높은 대역폭을 제공하고, 특정 조건에서 긴 수명을 가질 수 있음을 입증합니다.

핵심 포인트

• HBF는 HBM에 근접한 대역폭과 비용 이점을 갖춘 유망 기술입니다.
• HBFSim은 HBM+HBF 등 복합 메모리 시스템의 성능 및 내구성을 모델링합니다.
• Llama-3.1-70B 같은 LLM 워크로드에서 HBF는 높은 쓰기 지속 시간을 보여줍니다.