멀티 칩렛(Multi-chiplet) GPU의 GEMM 설계 공간 탐색을 위한 빠른 로컬리티 시뮬레이터

멀티 칩렛(Multi-chiplet) GPU는 실리콘 인터포저(silicon interposer)를 통해 메모리를 로컬(local) 및 리모트(remote) HBM 영역으로 분할하며, 리모트 HBM 트래픽을 줄이는 것은 멀티 칩렛 GPU의 성능과 에너지 효율성에 매우 중요합니다. 대규모 언어 모델(LLMs)에서 지배적인 연산자인 일반 행렬 곱셈(GEMM)의 경우, 발생하는 칩렛 간(inter-chiplet) 트래픽은 피연산자 레이아웃(operand layout), CTA 순회 순서(CTA traversal order), 데이터 배치(data placement)와 같은 커널 선택에 크게 의존하며, 리모트 액세스를 최소화하기 위한 최적의 전략을 찾는 것은 쉽지 않습니다. 본 논문에서는 전체 크기의 LLM GEMM 구성을 평가하기 위해 CTA 스케줄링, 칩렛별 L2 캐시, 로컬/리모트 HBM 액세스를 모델링하는 빠르고 기능적인 타일 수준(tile-level) 로컬리티 시뮬레이터를 제시합니다. 대표적인 LLM GEMM들을 대상으로 시뮬레이션을 수행한 결과, 동일한 GEMM 차원에 대해 설계 공간(design space)에 따라 리모트 트래픽이 최대 58배까지 차이가 남을 확인했습니다. 또한, 시뮬레이터를 피드백으로 활용하여 에이전틱 AI(agentic AI)를 사용한 결과, 라운드 로빈(round-robin) 배치 조건에서 2D 블록 스위즐(2D block-swizzle) CTA 순회가 기존 최적의 1D 순회보다 리모트 트래픽을 최대 5.1배 감소시킨다는 것을 발견하였으며, 이를 통해 CTA 순회 순서가 칩렛 간 트래픽을 조절하는 GEMM 의존적인 1차 설계 노브(design knob)임을 식별하였습니다.