유계 깊이 문법(bounded-depth grammars)을 통한 딥 트랜스포머(deep transformers) 내 계층적 모델링의 표현력

요약

본 연구는 딥 트랜스포머가 계층적 구조를 어떻게 표현하는지 유계 깊이 문법(bounded-depth grammars) 관점에서 분석합니다. 트랜스포머가 문법 상태를 잔차 스트림 내 선형 분리 가능한 부분 공간으로 인코딩할 수 있음을 이론적으로 입증하여 선형 표현 가설을 뒷받침합니다.

핵심 포인트

• 유계 깊이 비재귀적 문맥 자유 문법을 통한 트랜스포머 표현력 분석
• 문법 깊이에 따라 선형적으로 증가하는 트랜스포머 아키텍처 구축
• 잔차 스트림 내 저차원 선형 분리 가능 부분 공간 인코딩 입증
• 선형 표현 가설(linear representation hypothesis)에 대한 이론적 근거 제시