SparseForge: 스파이크 희소성을 넘어 하드웨어 활용이 가능한 뉴런 가지치기 기반 효율적인 SNN 가속화

스파이킹 신경망(Spiking Neural Networks, SNNs)은 에너지 효율적인 엣지 컴퓨팅을 위한 이벤트 기반 패러다임을 제공합니다. 하지만 SNN의 연산 수준 희소성(operation-level sparsity)이 뉴런 상태 유지(neuron-state maintenance), 부분합(partial-sum, psum) 접근, 온칩 저장 요구사항을 포함하는 중복 출력 뉴런과 관련된 하드웨어 비용을 반드시 제거하지는 못합니다. 본 논문은 뉴런 가지치기(neuron pruning), 희소 데이터 흐름(sparse dataflow), 가속기 마이크로아키텍처를 공동으로 최적화하는 하드웨어 인식형 희소 SNN 가속 프레임워크인 SparseForge를 제시합니다.

알고리즘 수준에서, 우리는 이진 스파이크 의미론(binary spike semantics)을 가진 미분 가능한 뉴런 마스크를 학습하기 위해 게이티드 누설 적분-발화(gated leaky integrate-and-fire, G-LIF) 뉴런을 도입합니다. 또한 가지치기를 시냅스 연산 감소와 psum 버퍼 용량 감소 모두에 맞추기 위해 이중 정규화 방식(dual regularization scheme)을 개발했습니다.

데이터 흐름 수준에서, 우리는 가중치 접근 정규성을 향상시키고 동적 스파이크 활동 하에서 희소 인덱스 오버헤드를 줄이기 위해 증분형 스파이크 인코딩(incremental spike encoding) 변형을 사용한 희소 열별 곱셈(sparse Column-Wise Product, CWP) 데이터 흐름을 설계했습니다. 아키텍처 수준에서는, 우리는 압축 스파이크 디코딩(compressed spike decoding), 희소 암시적 im2col 변환(sparse implicit im2col conversion), 뉴런 마스크 게이티드 psum 업데이트(neuron-mask-gated psum updates), 분리된 희소 실행(decoupled sparse execution)을 지원하는 마스크 인식형 희소 처리 장치(mask-aware sparse processing unit, SPU)를 개발했습니다.

여러 SNN 백본 및 데이터셋에 걸친 실험 결과는 SparseForge가 구성 가능한 정확도-효율성 트레이드오프(accuracy--efficiency trade-off)를 유지하면서 뉴런의 1.75%77.99%와 시냅스 연산의 0.16%62.36%를 보존함을 보여줍니다. 버퍼 용량 인식 정규화(buffer-capacity-aware regularization)는 필요한 psum 버퍼 용량을 최대 96.18%까지 줄입니다. Xilinx ZCU9EG에서 수행된 FPGA 구현은 평가된 워크로드 전반에 걸쳐 296.94619.49 GOPS/W를 달성합니다. 일치하는 네트워크 및 데이터셋 설정 전반에 걸쳐, SparseForge는 대표적인 FPGA 기반 SNN 가속기보다 1.244.17 높은 FPS와 1.507.18 높은 GOPS/W를 제공하며, 벤치마크 의존적 정확도-효율성 트레이드오프(accuracy--efficiency trade-offs) 하에서 EDP를 1.7019.13 감소시킵니다.