이차 적분 발화 (Quadratic integrate-and-fire) 뉴런은 더 덜 파편화된 손실 지형을 보이며, 스파이크 기반 경사

스파이크 신경망 (Spiking Neural Networks, SNN)을 학습시키는 능력은 생물학적 신경망을 모델링하는 것뿐만 아니라 뉴로모픽 컴퓨팅 (neuromorphic computing)을 위해서도 필수적입니다. 그러나 널리 사용되는 누설 적분 발화 (leaky integrate-and-fire, LIF) 뉴런의 경우, 임의의 아주 작은 파라미터 변화가 스파이크의 (불)출현을 유도하여 후속 활동을 방해할 수 있으며, 이는 정확한 스파이크 기반 경사 하강법 (spike-based gradient descent) 과정에서 불안정한 신경 표현과 영구적으로 침묵하는 뉴런으로 이어질 수 있습니다. 최근 연구에 따르면 이차 적분 발화 (quadratic integrate-and-fire, QIF) 뉴런을 포함하는 일련의 뉴런 모델들은 이러한 불연속성을 피하고 연속적이며 심지어 매끄러운 스파이크 기반 경사 하강법을 가능하게 합니다. 하지만 이러한 장점들이 실제 적용에서도 나타나는지는 여전히 불분명합니다. 본 연구에서는 대중적인 Spiking Heidelberg Digits 데이터셋을 사용하여 LIF 뉴런 네트워크와 QIF 뉴런 네트워크 간의 통제된 비교를 통해 이러한 장점들이 실제로 존재함을 입증합니다. 구체적으로, 첫 번째 단계로 두 모델을 최적화하기 위해 철저한 하이퍼파라미터 탐색을 수행하였으며, 이를 통해 QIF 뉴런의 명확한 성능 우위를 확인했습니다. 두 번째 단계에서는 손실 (loss) 및 경사 (gradient) 지형을 시각화했습니다. 성능이 저조한 것과 일관되게, 불연속적인 LIF 뉴런의 손실 지형은 더 파편화되어 보이고 관련 경사는 더 불규칙하게 나타남을 발견했습니다. 단일 샘플의 지형 분석 결과, 이러한 특징들은 스파이크의 시간적 순서 변화에서 기인하며, 이는 종종 방해적인 스파이크 (불)출현을 유발한다는 것을 나타냅니다. 종합적으로, 우리의 결과는 경사 하강법 학습을 위해 LIF 뉴런을 QIF 뉴런과 같이 연속적인 스파이크 역학을 보이는 뉴런 모델로 교체할 것을 권장합니다.