트랜스포머의 로컬 어텐션 표현력 분석

요약

본 논문은 트랜스포머의 핵심 메커니즘인 어텐션에 초점을 맞추어, 로컬 어텐션이 단순한 효율성 개선을 넘어 모델의 표현력(recognizer expressivity)을 형식적으로 확장함을 증명합니다. 전역 어텐션을 사용하는 트랜스포머는 특정 선형 시간 논리 부분집합에 해당하며, 여기에 로컬 어텐션을 추가하면 인식 가능한 규칙 언어 클래스가 엄격하게 확장됩니다. 연구진은 이 두 메커니즘이 상호 보완적이며, 하이브리드 전역-로컬 구조가 가장 풍부한 표현력을 제공함을 보여줍니다.

핵심 포인트

• 트랜스포머의 전역 어텐션(Global Attention)은 계산 비용을 높이지만, 특정 선형 시간 논리의 부분집합에 해당한다는 것이 형식적으로 증명되었습니다.
• 로컬 어텐션(Local Attention)은 정보 집계 범위를 제한하여 계산 복잡도를 줄이는 동시에, 모델의 표현력을 확장하는 역할을 합니다.
• 전역 및 로컬 어텐션은 서로를 포함하지 않으며, 두 가지를 결합한 하이브리드 구조가 가장 풍부하고 우월한 언어 인식 능력을 가집니다.
• 이러한 발견은 형식 언어 이론(Formal Language Theory)을 사용하여 자연어 모델링의 아키텍처적 한계를 분석하는 새로운 관점을 제시합니다.