좌절된 동기화로서의 어텐션 (Attention as Frustrated Synchronization)
요약
어텐션 메커니즘을 진동자 네트워크의 '좌절된 동기화(Frustrated Synchronization)' 관점에서 재해석한 FSN 아키텍처를 제안합니다. FSN은 기존 Transformer보다 적은 파라미터와 학습 예산으로도 더 낮은 검증 손실을 기록하며 우수한 성능을 입증했습니다.
핵심 포인트
- 어텐션을 토러스 상의 위상과 복소 결합 커널을 사용하는 FSN으로 구현
- 다음 토큰 예측을 데이터에 의해 좌절된 동기화 과정으로 정의
- 100만~400만 파라미터 규모에서 RoPE-SwiGLU Transformer보다 낮은 손실률 기록
- MLP를 평균장 결합(mean-field coupling)으로 대체하여 Transformer 성능 추적 가능
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1