NeutronSparse: NPU 상의 희소 행렬 곱셈 (SpMM)을 위한 이기종 엔진 간의 협업 조율

요약

NPU 환경에서 희소 행렬 곱셈(SpMM)의 성능을 최적화하기 위한 새로운 프레임워크 NeutronSparse를 제안합니다. 이기종 엔진 간의 협업 조율과 지역성 인식 타일 오케스트레이션을 통해 데이터 관리 병목 현상을 해결합니다.

핵심 포인트

• NPU 기반 SpMM의 성능 병목인 이기종 유닛 간 협업 부족 문제 해결
• Sparsity-aware coordination을 통한 적응적 워크로드 분할 및 균형 유지
• Locality-aware tile orchestrating으로 메모리 이동 오버헤드 및 중복 계산 감소
• Ascend 910B 기준 베이스라인 대비 최대 7.78배, GPU 라이브러리 대비 최대 3.07배 성능 향상