PoTAcc: A Pipeline for End-to-End Acceleration of Power-of-Two Quantized DNNs

요약

본 논문은 리소스 제약이 있는 에지 장치에서 Power-of-Two (PoT) 양자화된 심층 신경망(DNN)을 효율적으로 가속화하기 위한 오픈 소스 엔드투엔드 파이프라인인 PoTAcc를 제안합니다. PoT양자화는 DNN 크기를 줄이고 곱셈 연산을 비트 시프트로 대체하여 에지 컴퓨팅에 적합하지만, 기존 프레임워크와 하드웨어 지원의 부족으로 배포가 어려웠습니다. PoTAcc는 TFLite 기반으로 CPU 및 커스텀 FPGA 가속기를 아우르는 이종 플랫폼에서 모델 준비와 배포를 원활하게 하며, 이를 통해 최대 3.6배의 속도 향상과 78%의 에너지 절감을 입증했습니다.

핵심 포인트

• PoT양자화는 DNN을 에지 장치에 최적화하지만, 기존 프레임워크 및 하드웨어 지원이 부족하다.
• PoTAcc는 TFLite 기반으로 CPU와 커스텀 FPGA 가속기를 통합하는 엔드투엔드 파이프라인이다.
• 커스텀 시프트 기반 처리 요소(shift-PE) 가속기 설계를 통해 PoT양자화 DNN의 성능을 극대화할 수 있다.
• 실험 결과, PoTAcc는 CPU만 실행 대비 최대 3.6배의 속도 향상과 78%의 에너지 절감을 달성했다.