SEADA: 멀티 프리시전 공간 아키텍처 상에서 혼합 정밀도 DNN을 최적화하기 위한 효율적인 방법론

혼합 정밀도 (Mixed-precision) 연산은 지연 시간 (latency), 에너지 소비 및 메모리 사용량 (memory footprint)을 줄이기 위한 효과적인 접근 방식으로 심층 신경망 (DNNs)에 도입되었습니다. 그러나 혼합 정밀도 네트워크를 멀티 프리시전 공간 아키텍처 (multi-precision spatial architectures)에 효율적으로 매핑하는 것은 여러 과제를 안겨줍니다. 여기에는 각 레이어에 대한 적절한 정밀도를 결정하는 것, 양자화 (quantization)에 대한 레이어별 정확도 민감도와 아키텍처의 이질성 (heterogeneity) 및 시스템 수준의 제약 조건 사이의 균형을 맞추는 것, 그리고 이질적인 정밀도 할당에 따른 시스템 수준의 비용을 정확하게 추정하는 것이 포함됩니다. 본 연구에서는 이러한 과제를 해결하기 위해 설계된 효율적인 방법론인 SEADA를 제시합니다. SEADA는 다음과 같이 구성됩니다: (i) 멀티 프리시전 공간 가속기 아키텍처의 구성 가능한 시스템 수준 분석 비용 모델 (analytical cost model); (ii) DNN 워크로드를 대상 정수 가속기 (integer accelerator)에 최적에 가까운 매핑으로 식별하는 빠른 매핑 도구; (iii) 혼합 정밀도 실행의 전반적인 이점을 추정하기 위한 부동 소수점 (floating-point) 레이어용 분석 모델; (iv) 비트 수준 엔트로피 (bit-level entropy)를 기반으로 하여 여러 수치 정밀도에 걸쳐 효율적인 할당을 가능하게 하는 레이어별 정밀도 선택 방법론. SEADA의 효율성은 설계자들에게 멀티 프리시전 아키텍처의 설계 공간 탐색 (design-space exploration)을 위한 강력한 프레임워크를 제공합니다.