귀납 추론 과제에서 트랜스포머의 불변 학습 역학

요약

본 논문은 트랜스포머 언어 모델에서 귀납적 추론 능력이 나타나는 원리를 설명하는 이론적 프레임워크를 제시합니다. 여러 합성 과제를 통합한 일반화된 귀납적 과제 클래스를 연구하여, 어텐션 모델의 훈련 역학이 해석 가능한 저차원 불변 다양체에 국한됨을 증명했습니다. 이를 통해 트랜스포머 학습 과정을 예측 이론으로 접근할 수 있는 기반을 마련합니다.

핵심 포인트

• 트랜스포머의 귀납적 추론 능력을 설명하는 이론적 프레임워크 제시
• 학습 역학이 저차원 불변 다양체에 국한됨을 증명
• 데이터 통계가 in-context/in-weights 학습 경쟁 지배 방식 특성화
• 회로 형성을 저차원 동역학적 현상으로 간주하여 예측 이론 구축