이기종 DRAM 기반 프로세싱 인 메모리 (PIM)-GPU 시스템은 특히 긴 출력 생성 시 디코딩 단계의 대규모 언어 모델 (LLM) 추론에서 상당한 효율성 이득을 약속하지만, 현재의 설계 관행은 실제 성능을 결정하는 중요한 요소들을 간과하고 있습니다. 다양한 아키텍처와 워크로드 (OPT-7B/70B, Mamba2-2.7B/70B)에 대한 체계적인 평가를 통해, 우리는 세 가지 근본적인 설계 원칙을 밝혀냈습니다: (i) 정적 전력 소비 (DRAM 누설, 리프레시, GPU 유휴 전력)가 효율성 계산에서 지배적일 수 있으며, 이로 인해 동적 전력만을 고려한 모델은 실제 배포 환경 (Mamba2-2.7B, 배치 크기 1, 128 입력 토큰, 2,048 출력 토큰)에서 tokens/s/W를 최대 3.85배 과대평가할 수 있습니다; (ii) 디코딩 성능은 평가된 모든 모델과 워크로드에서 채널 수에 따라 단조 증가하며, 일반적으로 낮은 배치 워크로드의 경우 높은 채널 수에서 정체됩니다; 고정 용량 스윕 (fixed-capacity sweep) 하에서 모든 모델은 대신 공통적인 근사 최적 계층 구조 구성을 공유하며, 어텐션 (attention) 기반 모델의 경우 잘못된 구성에 따른 페널티가 실질적으로 더 큽니다; (iii) 워크로드 매핑 전략은 제한된 개선 (커널 수준 지연 시간/에너지 최대 14.0%/17.4% 감소, 엔드 투 엔드 이득 최대 5.6%)을 제공하며 주요 병목 현상이 아닙니다. 상당한 효율성 이득을 얻으려면 시스템 전반의 공동 최적화 (co-optimization)가 필요합니다. 이러한 원칙들은 차세대 메모리 가속 LLM 시스템을 설계하는 설계자들에게 설계 공간에 대한 가이드를 제공합니다.