Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SpikON은 에너지 효율적인 스파이킹 신경망(SNN)의 온라인 학습을 위한 알고리즘-하드웨어 공동 설계 프레임워크입니다. 새로운 학습 기술과 이중 병렬 엔진을 통해 학습 지연 시간과 에너지 소비를 획기적으로 줄였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기스파이킹 신경망 (Spiking Neural Networks, SNNs)은 에너지 효율적인 뇌 모방 컴퓨팅을 위한 유망한 패러다임으로 부상했습니다. 그러나 기존의 온라인 비지도 SNN 학습은 낮은 학습 정확도와 열악한 확장성 문제를 겪고 있습니다. 현재의 온라인 지도 학습 알고리즘은 대규모 데이터셋과 네트워크에서 우수한 성능을 보이지만, 하드웨어 친화적이지 않은 연산 방식이 효율적인 엣지 (edge) 배포를 방해합니다. 본 연구에서는 효율적이고 확장 가능한 엔드 투 엔드 (end-to-end) 온라인 지도 SNN 학습을 위한 최초의 알고리즘-하드웨어 공동 설계 (algorithm-hardware co-design) 프레임워크인 SpikON을 제안합니다. 먼저, 기존 알고리즘의 비효율성을 해결하기 위해 '시간에 따른 학습 가능한 임계값 (learnable threshold through time)' 및 '시간에 따른 스케일링된 가중치 중앙화 (scaled weight centralization through time)' 기술을 제안합니다. 또한, 지연 시간과 에너지 소비를 줄이기 위해, 순방향-역방향 연산의 동시 수행과 타임스텝 (timesteps) 간의 시간적 재사용을 가능하게 하는 SNN을 위한 새로운 학습 데이터 흐름 (training dataflow) 및 캐스케이드 연산 재사용 (cascade computation reuse) 방식을 도입합니다. 나아가, 효율적인 엔드 투 엔드 온라인 학습을 위해 이중 병렬 엔진 (dual-parallel engine)과 맞춤형 SIMD 기반 SNN 코어를 갖춘 전용 SNN 가속기를 설계합니다. 실험 결과, SpikON 알고리즘은 정확도를 희생하지 않으면서도 베이스라인 대비 학습 지연 시간과 에너지 소비를 각각 32.2% 및 35.0% 감소시켰습니다. 또한, SpikON 공동 설계는 엣지 Apple M4 GPU 및 TPU 유사 가속기와 비교했을 때 각각 7.2배 (11.5배) 및 26.8배 (15.8배)의 학습 처리량 (training throughput) (에너지 효율성)을 달성했습니다. 코드는 https://github.com/peilin-chen/SpikON 에서 확인할 수 있습니다.