스파이크 시퀀스 머신과 트랜스포머

요약

본 논문은 시퀀스 학습의 근본적인 특성을 분석하며, 스파이크 분산 기억(Liquid State Machine)과 트랜스포머 같은 다양한 시퀀스 모델들이 코사인 유사성 기반 검색 원리를 공유하여 동일한 5가지 기능적 연산을 수행함을 보여줍니다. 특히 '위상-지연 동형(Phase-Latency Isomorphism)'이라는 개념을 공식화하고, 사인파 위치 위상과 스파이크 타이밍 간의 선형 관계를 증명합니다. 연구 결과는 위치 표현의 핵심 속성이 단순히 거리 구별성보다는 사인파 형태 자체에 있음을 강조하며, 시간, 위상, 랭크가 동일한 계산 원리의 세 가지 인스턴스임을 제시합니다.

핵심 포인트

• 다양한 시퀀스 모델(LSM, Transformer 등)은 코사인 유사성 기반의 검색 원리를 공유한다.
• ‘위상-지연 동형(Phase-Latency Isomorphism)’을 공식화하여 사인파 위치 위상과 스파이크 타이밍 간의 선형 관계를 확립했다.
• 위치 표현의 핵심 속성은 단순히 거리 구별성(Distance Discriminability)이 아니라, 근본적으로 사인파 형태에 있다.
• 시간, 위상, 랭크는 모두 유사성 기반 검색을 통해 구조가 유지되는 동일한 계산 원리의 세 가지 인스턴스로 간주될 수 있다.