SpikeDecoder: 스파이킹 신경망(SNN)으로 구현하는 GPT 아키텍처

트랜스포머(Transformer) 아키텍처는 자연어 처리(NLP)를 위한 가장 강력한 도구로 널리 인정받고 있지만, 많은 수의 복잡한 연산 때문에 본질적으로 높은 에너지 소비 문제를 안고 있습니다. 이 문제를 해결하기 위해, 우리는 스파이킹 신경망(Spiking Neural Networks, SNNs)을 고려합니다. SNNs는 정보를 처리하는 방식 자체가 이벤트 기반(event-driven)이기 때문에 기존 인공신경망(Artificial Neural Networks, ANNs)의 에너지 효율적인 대안입니다. 하지만 이는 본질적으로 훈련하기 어렵게 만듭니다. 종종 많은 SNN 기반 모델들은 사전에 훈련된 ANN을 변환하여 이 문제를 우회합니다. 최근에는 트랜스포머 모델 구조를 직접 훈련 가능한 SNN 기반 적응형 형태로 설계하려는 시도가 있었습니다. 비록 그 결과가 큰 가능성을 보여주었지만, 적용 분야는 컴퓨터 비전이었습니다. 게다가 제안된 모델은 인코더 블록만 포함합니다. 본 논문에서는 자연어 처리 응용 분야를 위해 트랜스포머 디코더 블록의 완전한 SNN 기반 구현체인 SpikeDecoder를 제안합니다. 일련의 실험을 통해, 우리는 ANN 모델의 다양한 블록들을 스파이크 기반 대안으로 교체하는 것이 성능 손실의 상충 관계와 중요한 원천에 미치는 영향을 분석합니다. 나아가 잔차 연결(residual connections)의 역할과 SNN 호환 정규화 기법 선택을 조사합니다. 모델 아키텍처에 대한 작업 외에도, 텍스트 데이터를 스파이크로 투영하기 위한 다양한 임베딩 방법을 공식화하고 비교합니다. 마지막으로, 제안된 SNN 기반 디코더 블록이 ANN 기준 대비 이론적 에너지 소비를 87%에서 93%까지 줄인다는 것을 입증합니다.