자기회귀 디코딩(autoregressive decoding) 중 대규모 언어 모델(LLM) 추론은 근본적으로 메모리 대역폭 제한에 의해 구동됩니다. 기존의 3차원(3D) 적층형 Processing-in-Memory (PIM) 아키텍처는 온칩(off-chip) 대역폭 병목 현상을 완화하지만, 여전히 여러 한계에 직면해 있습니다. 즉, 물리 계층(PHY), 컨트롤러, 그리고 직접 메모리 접근(DMA) 엔진이 고급 노드 베이스 다이 영역에서 산술 유닛과 경쟁합니다. 또한, 하이브리드 본딩 제외 영역(keep-out zones)은 베이스 다이의 플로어플랜을 파편화하고 물리 설계를 방해하며, 동적 랜덤 액세스 메모리(DRAM) 공정으로 구축된 컴퓨트 타일은 낮은 로직 밀도에 제한되어 달성 가능한 처리량(throughput)을 제한합니다. 게다가 호스트 측으로 오프로드되는 비선형 연산은 통신 병목 현상을 재도입합니다.
본 논문에서는 Tri-Stack-PIM이라는 이종 3다이 아키텍처를 제시하며, 이는 이러한 긴장 상태들을 해결합니다. Tri-Stack-PIM은 상단 DRAM 다이를 스토리지 전용으로, 중간 버퍼 다이를 성숙한 공정 노드에 PHY, DMA 엔진 및 근접 메모리 컴퓨트 유닛을 배치하는 용도로, 그리고 하단 베이스 다이를 고급 노드에서 오직 단일 명령어 다중 데이터(SIMD) 곱셈-누적(MAC) 배열만을 위해 전용합니다. 나아가 우리는 Unified Buffer-Aware Ready-based (UBAR) 하드웨어 out-of-order 마이크로 연산 스케줄러를 도입했습니다. 이 스케줄러는 런타임에서 크로스 다이 의존성 정확성을 강제하는 동시에, 다중 항 우선순위 함수(multi-term priority function)를 통해 이슈 슬롯 활용도를 극대화하여 순차적 정책(in-order policy)이 포기했을 수 있는 사이클의 최대 90%까지 회복합니다. 또한, 공동 아키텍처-데이터 흐름 공동 탐색(joint architecture-dataflow co-exploration)을 통해 에너지-지연 곱(EDP)을 순진한 매개변수 선택 대비 33~66배 감소시키는 파레토 최적 구성(Pareto-optimal configurations)을 식별했습니다.
배치 크기 1~32에 대해 다중 헤드, 그룹화된 쿼리 및 다중 쿼리 어텐션(MHA, GQA, MQA) 메커니즘 전반에 걸쳐 평가했을 때, Tri-Stack-PIM은 각각 그래픽 처리 장치(GPU) 기준선 대비 4.95배, AttAcc 대비 2.57배, 그리고 H2-LLM 대비 1.68배의 기하 평균 속도 향상을 달성했습니다.