최신 Mamba 상태 공간 모델(State-Space Model, SSM)인 Mamba-3는 효율적인 장문맥(long-context) 모델링을 가능하게 하며, Mamba-2의 퍼플렉서티를 절반의 상태 크기로 맞추고 디코딩 산술 강도(arithmetic intensity)를 높였습니다. 그러나 이 모델의 다중 입력 다중 출력(Multi-Input Multi-Output, MIMO) 계산, 지수 사다리꼴 이산화(exponential-trapezoidal discretization), 그리고 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)은 밀집적(dense), 요소별(element-wise), 순차적 연산을 도입합니다. 커널 융합(kernel fusion)에도 불구하고, 기존 GPU는 이러한 연산들을 비효율적으로 실행합니다.
저희가 분석한 Mamba-3 하이브리드 모델은 수많은 커널 실행(kernel launches), 상당한 데이터 이동(data movement), 그리고 워프 점유율(warp occupancy) 및 메모리 지연 시간 숨김(memory-latency hiding)을 감소시키는 증가된 레지스터 압력(register pressure)을 드러냅니다. 저희는 기존 GPU 자원에 다른 하이브리드 모델 레이어를 유지하면서 Mamba-3 추론(inference)을 위한 특수화된 GPU 실행 장치인 RescuCore를 제안합니다.
RescuCore는 각 스트리밍 멀티프로세서(Streaming Multiprocessor, SM) 서브 파티션 내의 CUDA Cores 및 Tensor Cores와 함께 통합되며, 레지스터 파일(register file), 공유 메모리(shared memory), 워프 스케줄러(warp schedulers)를 공유합니다. 밀집 투영(Dense projections)은 기존 GPU 자원에 남아있는 동안, RescuCore는 이산화, 정규화(normalization), RoPE, MIMO 계산, 순환 상태 업데이트(recurrent state updates), 그리고 출력 게이팅(output gating)을 파이프라인 처리하여 커널 단편화(kernel fragmentation)와 중간 데이터 이동을 줄입니다.
저희는 여러 수치 형식(numerical formats)을 평가한 후 BF16을 선택했으며, 상태 크기 32 및 MIMO 랭크 4의 경우 A100 다이 대비 추정 면적 오버헤드 5.9%로 모델 정확도를 유지합니다.
저희는 사이클 정확도(cycle-accurate)의 Accel-Sim 시뮬레이션, RTL 합성(synthesis), 그리고 합성 기반의 AccelWattch 전력 모델링을 사용하여 RescuCore를 평가했습니다. 기존 GPU 실행과 비교했을 때, RescuCore는 프리필(prefill) 동안 1.49.4배의 속도 향상(speedup) 및 1.45.0배의 에너지 감소를 달성했으며, 자가 회귀 디코딩(autoregressive decoding) 동안에는 1.32.8배의 속도 향상과 1.22.6배의 에너지 감소를 달성했습니다.
이러한 결과는 SSM 기반 하이브리드 모델을 위한 GPU 통합 특수 실행의 잠재력을 입증합니다.