Winfree 진동 신경망 (Winfree Oscillatory Neural Network)

진동 (Oscillations)과 동기화 (Synchronization)는 표현 (Representation) 및 계산 (Computation)에서 근본적인 역할을 수행한다고 널리 믿어지고 있습니다. 그러나 동기화 역학 (Synchronization dynamics)에 기반한 기존의 머신러닝 (Machine learning) 접근 방식은 객체 발견 (Object discovery)과 같은 특수한 설정에 주로 국한되어 왔으며, 표준 비전 벤치마크 (Vision benchmarks)나 논리 추론 (Logic reasoning) 작업으로의 확장성 (Scalability)에 대한 증거는 제한적이었습니다. 본 논문에서는 일반화된 Winfree 역학 (Winfree dynamics)에 기반한 동적 신경망 구조 (Dynamical neural architecture)인 Winfree 진동 신경망 (Winfree Oscillatory Neural Network, WONN)을 제안합니다. WONN은 구조화된 진동 상호작용 (Oscillatory interactions)을 통해 토러스 (Torus) $(S^1)^d$ 상에서 표현을 진화시키며, 위상 기반의 귀납적 편향 (Phase-based inductive biases)과 고정된 삼각 함수 매핑 (Trigonometric mappings) 또는 학습 가능한 신경망 (Learnable neural networks)으로 구현되는 유연하고 계층적인 상호작용 메커니즘을 결합합니다. 우리는 CIFAR, ImageNet, Maze-hard, Sudoku를 포함한 이미지 인식 및 복잡한 추론 작업에서 WONN을 평가합니다. 이러한 도메인 전반에서 WONN은 강력한 파라미터 효율성 (Parameter efficiency)과 함께 경쟁력 있거나 우수한 성능을 달성합니다. 특히, 우리가 알기로 WONN은 ImageNet-1K까지 경쟁력 있게 확장 가능한 최초의 동기화 기반 진동 구조 (Synchronization-based oscillatory architecture)입니다. 또한, Maze-hard에서 WONN은 기존 최첨단 (State-of-the-art) 모델 파라미터의 단 1%만을 사용하여 80.1%의 정확도를 달성합니다. 이러한 결과는 구조화된 진동 역학 (Structured oscillatory dynamics)이 기존의 신경망 구조 (Neural architectures)에 대한 확장 가능하고 파라미터 효율적인 대안을 제공함을 시사합니다.