매개변수 재구성을 통한 스파이킹 신경망의 전역 최적 훈련

요약

스파이킹 신경망(SNNs)은 에너지 효율적이고 생물학적으로 그럴듯한 대안으로 주목받고 있지만, 스파이크 함수의 비미분성 때문에 훈련 시 유사 기울기(surrogate gradients)를 사용해야 하며 이는 근사 오차를 누적시킵니다. 본 연구는 이 문제를 해결하기 위해 병렬 순방향 임계 네트워크의 볼록화 기법을 병렬 순환 임계 네트워크로 확장하는 방법을 제안합니다.

핵심 포인트

• SNNs는 ANN 대비 생물학적으로 그럴듯하고 에너지 효율적인 대안이다.
• SNN 훈련은 스파이크 함수의 비미분성 때문에 유사 기울기(surrogate gradients)에 의존하며, 이는 근사 오차를 발생시킨다.
• 본 연구는 병렬 순방향 임계 네트워크의 볼록화 기법을 병렬 순환 임계 네트워크로 확장하여 훈련 문제를 개선한다.