디코딩 지연, 단일 곱셈: 양자화된 가중치를 위한 내적 재고찰

요약

본 논문은 양자화된 가중치를 사용하는 대규모 신경망의 내적 곱(dot product) 계산을 최적화하는 방법을 제안합니다. 기존 방식 대비 승산기 개수를 줄이고, 주소 오프셋을 활용하여 누산기를 선택함으로써 하드웨어 복잡도와 에너지 소비를 크게 개선했습니다. 이를 위해 Scatter-Accumulate Processing Element (SA-PE) 아키텍처를 제시하며 효율성을 입증했습니다.

핵심 포인트

• 양자화된 가중치 내적 계산을 위한 새로운 방법론 제안.
• 전통적인 MAC 유닛 대신 SA-PE 구조로 하드웨어 복잡도 감소.
• 디코딩된 가중치를 저장하지 않아 메모리 사용량 절감 효과.
• 정수 연산에 대한 정확성을 유지하며 에너지 효율성 개선.