Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Mamba-2와 같은 SSD 모델의 추론 오버헤드를 해결하기 위해 이기종 메모리 중심 가속기인 HEMERA를 제안합니다. 스트리밍-재귀적 데이터플로우를 통해 중간 저장 공간을 줄이고 에너지 효율을 극대화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Mamba와 같은 구조적 상태 공간 모델 (Structured State Space Models (SSMs))은 선형 시간 복잡도로 효율적인 긴 시퀀스 모델링을 가능하게 합니다. 최근의 구현체들은 재귀적 상태 진화 (recursive state evolution)를 행렬 형태의 연산으로 변환하는 구조적 상태 공간 이중성 (Structured State Space Duality (SSD))을 통해 이러한 능력을 실현합니다. 그러나 SSD는 이차적 중간 결과물 생성 (quadratic intermediate materialization), 불규칙한 데이터 이동, 그리고 접두사 의존적 실행 (prefix-dependent execution)을 포함한 상당한 시스템 수준의 오버헤드를 유발하며, 이는 기존 아키텍처에서 과도한 메모리 트래픽과 대역폭 요구를 초래합니다. 이전의 가속기들이 최적화된 데이터플로우나 메모리 내 연산 (compute-in-memory) 기술을 통해 이러한 오버헤드를 완화하려 시도했으나, 이들은 대체로 행렬 중심의 SSD 실행 방식을 유지하며 이차적 중간 저장 공간을 피하는 동시에 의존성 제한적 상태 전파 (dependency-bound state propagation)를 효율적으로 매핑하지 못합니다. 본 논문은 효율적인 Mamba-2 추론을 위한 이기종 메모리 중심 가속기인 HEMERA를 제안합니다. HEMERA는 행렬 형태의 SSD 연산을 직접 실행하는 대신, 원래의 연산을 보존하면서도 이차적 중간 저장을 피할 수 있는 대수적으로 동등한 스트리밍-재귀적 데이터플로우 (streaming-recursive dataflow)로 재구성합니다. 결과적으로 도출된 이기종 실행 패러다임은 밀집 선형 연산 (dense linear operations)을 메모리 내 연산 (in-memory computing) 유닛에 매핑하고, 재귀적 상태 업데이트를 전용 스트리밍 엔진에 매핑합니다. 130M에서 2.8B 규모에 이르는 Mamba-2 모델 전반에 대해, HEMERA는 NVIDIA A100에서 실행되는 공식 최적화 융합 Mamba-2 커널 (official optimized fused Mamba-2 kernel) 대비 평균 1.4x-3.6x의 지연 시간(latency) 가속과 12.2x-27.0x의 에너지 효율 향상을 달성했습니다. 또한 긴 시퀀스 추론 시 모델 규모 전반에 걸쳐 평균 SSD 관련 실행 시간 비율을 14.12%로 감소시켜, Edge 제약 조건 하에서의 효율적인 배포 가능성을 입증했습니다.