어텐션의 상전이: 복사 헤드 출현에 대한 베이지안 이론

어텐션은 트랜스포머(transformers)에서 인-컨텍스트 러닝(in-context learning)을 뒷받침하는 핵심 메커니즘이며, 어텐션 패턴은 훈련 중에 갑작스럽게 나타나는 것으로 경험적으로 관찰되었습니다. 우리는 어텐션에서의 피처 학습에 대한 베이지안 이론을 제시하고, 이후 인덕션 헤드(induction head)의 첫 번째 레이어에 있는 복사 서브회로가 어떻게 학습되는지에 초점을 맞추기 위해 복사 작업(copy task)으로 훈련된 단일 레이어 소프트맥스 어텐션 네트워크를 분석합니다. 우리는 어텐션 행렬에 대한 폐쇄형 사후 확률 분포(closed-form posterior)를 유도하고 이를 저차원 순서 매개변수 공간(low-dimensional order parameter space)으로 축소합니다. 이러한 축소는 훈련 데이터 양에서 상전이(phase transition)가 발생함을 밝혀내며, 우리는 베이지안 샘플링과 Adam을 사용한 표준 훈련 모두를 사용하여 이를 검증합니다. 우리의 결과를 선형 어텐션(linear attention)과 비교했을 때, 소프트맥스 어텐션은 extit{1차 상전이(first-order phase transition)}를 보이는 반면, 선형 어텐션에서는 초기 extit{2차 상전이(second-order phase transition)}가 발생한 후 구조화된 어텐션 패턴으로의 부드럽고 연속적인 진화( extit{crossover})를 보였습니다. 우리의 연구는 대규모 언어 모델(large language models) 훈련에서 관찰되는 것과 유사하게, 복사 서브회로의 갑작스러운 출현에 대한 제1원리 이론적 설명을 제공합니다.