Sparse-on-Dense: 밀집 행렬 곱셈 가속기에서 희소 신경망의 면적 및 에너지 효율적인 연산
요약
심층 신경망의 크기가 커지면서 발생하는 높은 계산 복잡도와 메모리 요구 사항을 해결하기 위해 가지치기(Pruning)를 통해 희소 신경망이 활용되고 있습니다. 기존의 전용 희소 가속기는 인덱스 매칭 회로 때문에 면적과 전력 효율성 문제가 있었습니다. 본 논문은 이러한 문제를 해결하고자, 밀집 행렬 곱셈 하드웨어 가속기(Sparse-on-Dense)를 사용하여 희소 신경망 연산을 수행하는 면적 및 에너지 효율적인 방법을 제안합니다.
핵심 포인트
- DNN의 크기 증가로 인한 높은 계산 복잡도와 메모리 풋프린트 문제가 발생하고 있다.
- 희소화(Pruning)는 DNN의 계산 복잡도를 줄이는 효과적인 방법이다.
- 전통적인 희소 가속기는 인덱스 매칭 회로 때문에 면적 및 전력 효율성 측면에서 어려움이 있었다.
- 본 연구는 밀집 행렬 곱셈 하드웨어(Sparse-on-Dense)를 활용하여 희소 신경망 연산을 수행함으로써, 면적과 에너지 효율성을 개선하는 방법을 제시한다.
심층 신경망 (DNNs) 의 크기가 높은 정확도를 달성하기 위해 급격히 증가함에 따라, DNNs 는 대량의 연산과 메모리 풋프린트를 요구합니다. 신경망 처리의 계산 복잡도를 줄이기 위한 해결책 중 하나는 희소 신경망을 생성하는 가지치기 (Pruning) 입니다. 이러한 압축된 데이터로 연산 성능을 극대화하기 위해 전용 희소 신경망 가속기가 도입되었으나, 영이 아닌 입력/가중치의 인덱스를 매칭하기 위한 복잡한 회로는 처리 요소 (PEs) 의 면적과 전력에 큰 과부하를 유발합니다. 희소 P 는 밀집 P 에 비해 현저히 커져 설계자들에게 흥미로운 질문을 제기합니다. "면적을 고려할 때, 희소 행렬 연산에서의 낮은 활용도를 감안하더라도 더 많은 수의 밀집 P 를 사용하는 것이 낫지 않을까?" 본 논문에서는 이에 대한 답이 "예"임을 보여주며, 밀집 행렬 곱셈 하드웨어 가속기 (Sparse-on-Dense) 에서 희소 신경망 연산을 위한 면적 및 에너지 효율적인 방법을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기