SIMD를 사용할 것인가, 말 것인가: AI의 비선형 함수에 대한 RVV 대 CGRA SoC 비교

요약

본 논문은 LLM의 비선형 함수 연산을 위해 RVV 벡터 프로세서와 CGRA를 탑재한 두 SoC를 비교 분석합니다. 간단한 SiLU 같은 활성화 단계에서는 CGRA가 우위를 보였으나, $\mathrm{softmax}$와 같이 복잡도가 높은 비선형 함수에서는 RVV가 최대 9.8배의 성능 향상을 달성하며 아키텍처별 최적화 필요성을 제시했습니다.

핵심 포인트

• 비선형 함수는 LLM에서 핵심 연산 클래스이며, 기존 장치로는 MMU 성능을 따라가지 못함.
• SiLU 같은 단순 비선형 함수에서는 CGRA가 RVV보다 최대 7.12배 빠른 속도를 보임.
• $\mathrm{softmax}$와 같은 복잡한 함수에서는 RVV가 CGRA 대비 최대 9.8배의 성능 향상을 달성함.
• 전체 순방향 블록 기준으로, RVV는 CGRA보다 평균적으로 더 높은 성능 우위를 보임.