결합 진동자 네트워크에서의 동기화를 통한 어텐션

요약

본 논문은 에너지 제약이 있는 물리적 하드웨어 환경에서 트랜스포머의 Softmax 어텐션을 대체할 새로운 메커니즘을 제시합니다. 쿠라몬토 동기화 역학을 활용한 '고정 쿼리 진동자 어텐션'은 지수 함수 계산 없이 코사인 유사도를 통해 어텐션 가중치를 인코딩하며, 물리적 구현에 적합한 수학적 근거를 제공합니다.

핵심 포인트

• Softmax의 에너지 비효율성을 해결하기 위해 동기화 역학을 활용함.
• 진동자 어텐션은 Softmax 계산을 기울기 흐름 평형화로 대체하여 전역 연산을 최소화함.
• 키워드 스포팅 및 주어-동사 일치 등 특정 태스크에서 Softmax 대비 우수한 성능을 보임.
• 물리적 기판 상의 정확한 어텐션 구현을 위한 수학적 청사진을 제공하는 것이 목표임.