벡터 프로세서에서의 Transformer 추론을 위한 Roofline 성능 기반 희소 텐서 수축 (At-the-Roofline Sparse

요약

벡터 프로세서에서 Transformer 추론 성능을 극대화하기 위한 Ventaglio 아키텍처를 제안합니다. RVV ISA 확장을 통해 희소 텐서 수축을 Roofline 성능 한계치까지 끌어올려 LLaMA-3-8B 모델의 추론 속도를 크게 향상시켰습니다.

핵심 포인트

• Ventaglio: 인덱스 기반 gather-accumulate-scatter를 지원하는 희소 실행 유닛
• RVV ISA 확장을 통해 희소 텐서 수축 성능을 Roofline 한계치로 최적화
• 12nm FinFET 공정 구현 시 단 3.1%의 면적 오버헤드로 높은 가속 성능 달성
• LLaMA-3-8B 모델의 프리필 및 디코딩 단계에서 최대 5.25배 속도 향상