검색 커널 공동 설계를 통한 실현 가능한 N:M 희소 트랜스포머 추론

요약

본 논문은 ViT의 높은 추론 지연 시간 문제를 해결하기 위해 N:M 희소 트랜스포머 추론을 위한 하드웨어-소프트웨어 공동 설계를 제안합니다. 이를 통해 기존 이론적 절감만으로는 어려웠던 실질적인 가속화를 달성했습니다. 하드웨어적으로는 MD-SpMM CUDA 커널을, 소프트웨어적으로는 3단계 휴리스틱 검색 기반의 희소성 할당 프레임워크를 개발하여 성능 향상을 입증했습니다.

핵심 포인트

• N:M 희소성은 이론적 절감만으로는 실제 속도 향상에 한계가 있다.
• 하드웨어-소프트웨어 공동 설계 접근 방식이 필수적이다.
• MD-SpMM CUDA 커널과 휴리스틱 검색을 결합하여 2.2배 이상의 지연 시간 속도 향상을 달성했다.
• 제안된 프레임워크는 정확도를 유지하면서 효율적인 희소성 할당을 가능하게 한다.