TIDE: 안정화된 시간적 억제-흥분 역학을 위한 비대칭 신경 회로
요약
TIDE는 연속적 사고 기계(CTM)의 불안정성을 해결하기 위해 비대칭 흥분-억제(E-I) 네트워크를 활용한 새로운 신경 모사 아키텍처입니다. Wilson-Cowan 역학 및 측면 억제를 통합하여 안정적인 신경 역학을 구현하며, 생물학적 실재감과 엔드투엔드 학습 능력을 동시에 확보했습니다. 실험 결과, 기존 CTM 대비 훈련 시간을 50% 이상 단축하면서도 ImageNet 정확도를 향상시키는 성능을 입증했습니다.
핵심 포인트
- 비대칭 흥분-억제(E-I) 네트워크를 통해 안정화된 신경 역학 모델링
- Wilson-Cowan 역학 및 측면 억제(lateral inhibition) 통합
- Dale의 원리를 적용하여 80:20의 생물학적 E-I 균형 비율 보장
- 기존 CTM 대비 훈련 시간 50% 단축 및 ImageNet top-1 정확도 1.65% 향상
- 수렴성, 안정성 및 복잡도 경계에 대한 수학적 증명 제시
최근의 연속적 사고 기계 (Continuous Thought Machine, CTM) 아키텍처는 신경 역학 (neural dynamics)을 통해 내부 연산을 외부 입력으로부터 분리하지만, 안정성 보장이 없는 다층 퍼셉트론 (Multi-Layer Perceptrons, MLP)에 의존합니다. 우리는 네트워크 이론의 원리를 통해 안정화될 수 있고 게임 이론적 손실 (game-theoretic loss)을 통해 최적화되는 에너지 기반 시스템 (energy-based systems)으로 표현될 수 있는 비대칭 흥분-억제 (Excitatory-Inhibitory, E-I) 네트워크를 사용하여 신경 역학을 모델링할 것을 제안합니다. 이러한 관점을 바탕으로, 우리는 Wilson-Cowan 역학 및 측면 억제 (lateral inhibition)를 통합하여 안정화된 신경 역학을 통해 내부 표현을 계산하는 신경 모사 (neuro-inspired) 아키텍처인 Temporal Inhibitory-Excitatory Dynamic Engine (TIDE)를 소개합니다. TIDE는 예를 들어 계층적 수용장 (Hierarchical Receptive Fields)을 사용하고 Dale의 원리 (Dale's principle)를 강제하여 실제적인 $80:20$ E-I 균형 비율을 보장함으로써 생물학적 실재감 (biological realism)과 엔드투엔드 (end-to-end) 학습이 가능한 아키텍처 사이의 균형을 맞춥니다. 본 논문의 목적은 신경 모사 학습을 전면에 내세우는 새로운 아키텍처를 소개하는 것입니다. 우리는 경험적 절제 연구 (ablation studies)와 함께 수렴성 (convergence), 안정성 (stability), 그리고 복잡도 경계 (complexity bounds)에 대한 증명을 제시합니다. 종합적으로, TIDE는 CTM보다 $50%$ 미만의 훈련 시간으로 이를 능가하며, 다양한 섭동 (perturbations) 하에서 ImageNet의 $\texttt{top-1}$ 정확도를 평균 $+1.65%$ 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기