벡터 프로세서에서의 Transformer 추론을 위한 Roofline 성능 기반 희소 텐서 수축 (At-the-Roofline Sparse
요약
벡터 프로세서에서 Transformer 추론 성능을 극대화하기 위한 Ventaglio 아키텍처를 제안합니다. RVV ISA 확장을 통해 희소 텐서 수축을 Roofline 성능 한계치까지 끌어올려 LLaMA-3-8B 모델의 추론 속도를 크게 향상시켰습니다.
핵심 포인트
- Ventaglio: 인덱스 기반 gather-accumulate-scatter를 지원하는 희소 실행 유닛
- RVV ISA 확장을 통해 희소 텐서 수축 성능을 Roofline 한계치로 최적화
- 12nm FinFET 공정 구현 시 단 3.1%의 면적 오버헤드로 높은 가속 성능 달성
- LLaMA-3-8B 모델의 프리필 및 디코딩 단계에서 최대 5.25배 속도 향상
세밀한 가중치 가지치기 (Fine-grained weight pruning) 및 활성화 희소화 (activation sparsification)는 Transformer 모델의 추론을 위한 연산 및 메모리 비용을 줄이는 효과적인 접근 방식으로 부상했습니다. 중간 정도의 희소성 (moderate-sparsity) 영역에서, Gustavson의 데이터 흐름 (dataflow)은 메타데이터 기반의 인덱스 누적 (indexed accumulation)을 통해 벡터 프로세서에서 활성화 및 가중치 희소성을 모두 활용할 수 있는 자연스러운 실행 모델을 제공합니다. 그러나 기존의 RVV 아키텍처는 이러한 패턴에 대한 네이티브 지원이 부족하여, 커널이 소프트웨어 인덱스 디코딩 및 L1 기반 인덱스 메모리 연산에 의존하게 만들며, 이로 인해 희소 텐서 수축 (sparse tensor contractions) 성능이 Roofline 성능 한계치에 훨씬 못 미치게 됩니다. 우리는 인덱스 기반의 gather-accumulate-scatter 지원을 통해 희소 텐서 수축을 Roofline 성능으로 끌어올리는 RVV ISA 확장 기능과 결합된 런타임 구성 가능 희소 실행 유닛인 Ventaglio를 제시합니다. 오픈 소스 벡터 프로세싱 클러스터에 통합되고 12nm FinFET 공정으로 구현된 Ventaglio는, L1과 밀접하게 결합된 벡터 프로세싱 요소 클러스터에 대해 단 3.1%의 면적 오버헤드만으로 최적화된 RVV 베이스라인 대비 희소 텐서 수축 커널을 $6.9 ext{--}7.4 imes$ 가속화합니다. 우리는 Ventaglio 확장에 대한 성능 정확도가 높은 명령어 수준 모델 (instruction-level model)을 구축하고, 이를 RTL 구현과 비교 교정하며, 대규모 $4 imes4$ 멀티 클러스터 시스템에서의 스케일아웃 (scale-out) 성능 분석에 활용합니다. 실제적인 $40 ext{--}60 ext{%}$ 이중 희소성 (dual sparsity)을 가진 DuoGPT로 가지치기 된 LLaMA-3-8B 모델을 사용했을 때, Ventaglio는 프리필 (prefill) 단계에서 밀집 (dense) 베이스라인 대비 $2.40 ext{--}5.25 imes$, 자기회귀 디코딩 (autoregressive decoding) 단계에서 $2.06 ext{--}3.16 imes$의 속도 향상을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기