MemExplorer: 에이전트 추론을 위한 이종 메모리 설계 공간 탐색기

요약

본 논문은 급증하는 에이전트 기반 LLM 워크로드의 요구사항(용량 및 대역폭)을 충족하기 위해, 이종 가속기 시스템에 최적화된 메모리 아키텍처를 설계하는 방법론 'MemExplorer'를 제안합니다. MemExplorer는 온칩 SRAM부터 HBM, LPDDR 등 다양한 계층의 메모리 기술을 통합적으로 모델링할 수 있는 통일된 추상화를 제공하며, NPU 디자인(예: 행렬 엔진 크기)과 메모리 시스템 설계를 동시에 최적화합니다. 실험 결과에 따르면, MemExplorer는 에이전트 워크로드 전반에서 기존 NPU 대비 최대 2.3배의,

핵심 포인트

• MemExplorer는 온칩 SRAM부터 HBM까지 다양한 계층의 이종 메모리 기술을 통합적으로 모델링하는 새로운 시스템 합성기입니다.
• NPU 디자인(행렬 엔진 크기)과 메모리 시스템 설계를 동시에 최적화하여 처리량 및 전력 효율성을 극대화합니다.
• 에이전트 워크로드 환경에서, MemExplorer는 기존 NPU 대비 최대 2.3배 높은 에너지 효율을 달성했습니다 (Prefill 설정).
• 디코딩(Decode) 설정에서도 기존 NPU 대비 최대 1.93배 및 H100 대비 최대 2.72배의 전력 효율 향상을 입증했습니다.