Zephyr: 희소성 인지 유연 PE 배열을 이용한 효율적인 오디오 노이즈 제거 시스템 (SNN 기반)

본 연구에서는 스마트폰, 무선 헤드폰, 보청기 같은 엣지 디바이스에서 오디오 노이즈 제거 신경망이 직면하는 전력 소비 문제를 해결하기 위해 뉴로모픽 컴퓨팅(neuromorphic computing)을 살펴봅니다. 스파이킹 신경망(SNNs)은 높은 활성화 희소성(activation sparsity)과 낮은 복잡도 덕분에 이 문제 해결 잠재력을 가지고 있지만, 많은 최신 SOTA SNN들은 추론을 완전히 수행하려면 다양한 연산을 지원하는 하드웨어를 요구합니다. 이 문제를 해결하기 위해, 우리는 최신 오디오 노이즈 제거 신경망인 Spiking-FullSubNet을 하드웨어 친화적인 버전으로 변환했으며, 양자화 인식 훈련(QAT)과 활성화 함수 단순화를 통해 45nm 공정 노드의 사용자 정의 디지털 하드웨어에서 계산했을 때 전력 소비를 28배 개선하여 오디오 프레임당 32ms에 52.9nJ를 달성할 수 있음을 보여줍니다. 그런 다음, 우리는 희소성 인지 유연 PE 배열(sparsity-aware flexible PE array)을 통해 Spiking-FullSubNet의 이질적인 컴퓨팅 부하 추론을 수행하는 디지털 회로를 제안하고, PYNQ-Z1 FPGA에서 검증하여 100MHz에서 실시간 계수 0.727을 달성했습니다.