AscSpMM: 파이프라인 벡터-큐브 협업을 통한 Ascend NPU에서의 효율적인 SpMM

요약

본 논문은 NPU의 밀집 계산 구조와 희소 행렬 곱셈(SpMM) 연산 요구사항 간의 충돌 문제를 해결하기 위해 AscSpMM을 제안합니다. AscSpMM은 벡터 엔진이 인덱스 디코딩 및 재구성을 담당하고, 큐브 엔진이 행렬 곱셈-누적 연산을 수행하는 파이프라인 협업 구조를 채택했습니다. 그 결과, Ascend 910B3에서 기존 SpMM 대비 높은 속도 향상과 메모리 효율성 개선을 입증했습니다.

핵심 포인트

• NPU의 밀집 계산 특성과 희소 연산 요구사항 간의 충돌 문제를 해결함.
• AscSpMM은 벡터 엔진과 큐브 엔진의 파이프라인 협업 구조를 통해 효율성을 높임.
• Ascend 910B3에서 기존 SpMM 대비 19.92배, A100 cuSPARSE 대비 5.82배 속도 향상을 달성함.
• 행렬 입력 저장 공간과 HBM 사용량을 각각 48.24%, 22.98% 감소시킴.