Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
이기종 DRAM-PIM-GPU 시스템의 LLM 추론 효율성을 높이기 위한 세 가지 핵심 설계 원칙을 제시합니다. 정적 전력 소비의 중요성, 채널 수에 따른 성능 변화, 그리고 시스템 전반의 공동 최적화 필요성을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이기종 DRAM 기반 프로세싱 인 메모리 (PIM)-GPU 시스템은 특히 긴 출력 생성 시 디코딩 단계의 대규모 언어 모델 (LLM) 추론에서 상당한 효율성 이득을 약속하지만, 현재의 설계 관행은 실제 성능을 결정하는 중요한 요소들을 간과하고 있습니다. 다양한 아키텍처와 워크로드 (OPT-7B/70B, Mamba2-2.7B/70B)에 대한 체계적인 평가를 통해, 우리는 세 가지 근본적인 설계 원칙을 밝혀냈습니다: (i) 정적 전력 소비 (DRAM 누설, 리프레시, GPU 유휴 전력)가 효율성 계산에서 지배적일 수 있으며, 이로 인해 동적 전력만을 고려한 모델은 실제 배포 환경 (Mamba2-2.7B, 배치 크기 1, 128 입력 토큰, 2,048 출력 토큰)에서 tokens/s/W를 최대 3.85배 과대평가할 수 있습니다; (ii) 디코딩 성능은 평가된 모든 모델과 워크로드에서 채널 수에 따라 단조 증가하며, 일반적으로 낮은 배치 워크로드의 경우 높은 채널 수에서 정체됩니다; 고정 용량 스윕 (fixed-capacity sweep) 하에서 모든 모델은 대신 공통적인 근사 최적 계층 구조 구성을 공유하며, 어텐션 (attention) 기반 모델의 경우 잘못된 구성에 따른 페널티가 실질적으로 더 큽니다; (iii) 워크로드 매핑 전략은 제한된 개선 (커널 수준 지연 시간/에너지 최대 14.0%/17.4% 감소, 엔드 투 엔드 이득 최대 5.6%)을 제공하며 주요 병목 현상이 아닙니다. 상당한 효율성 이득을 얻으려면 시스템 전반의 공동 최적화 (co-optimization)가 필요합니다. 이러한 원칙들은 차세대 메모리 가속 LLM 시스템을 설계하는 설계자들에게 설계 공간에 대한 가이드를 제공합니다.