귀납 추론 과제에서 트랜스포머의 불변 학습 역학
요약
본 논문은 트랜스포머 언어 모델에서 귀납적 추론 능력이 나타나는 원리를 설명하는 이론적 프레임워크를 제시합니다. 여러 합성 과제를 통합한 일반화된 귀납적 과제 클래스를 연구하여, 어텐션 모델의 훈련 역학이 해석 가능한 저차원 불변 다양체에 국한됨을 증명했습니다. 이를 통해 트랜스포머 학습 과정을 예측 이론으로 접근할 수 있는 기반을 마련합니다.
핵심 포인트
- 트랜스포머의 귀납적 추론 능력을 설명하는 이론적 프레임워크 제시
- 학습 역학이 저차원 불변 다양체에 국한됨을 증명
- 데이터 통계가 in-context/in-weights 학습 경쟁 지배 방식 특성화
- 회로 형성을 저차원 동역학적 현상으로 간주하여 예측 이론 구축
우리는 트랜스포머 언어 모델에서 귀납적 추론 능력이 출현하는 것을 설명하기 위한 이론적 프레임워크를 제시합니다. 이전 연구들은 트랜스포머 학습 역학에 관한 것이었지만, 지금까지는 대부분 특정 과제에 국한되어 있었습니다. 우리는 문헌에서 알려진 in-context n-grams와 multi-hop reasoning을 포함하여 여러 합성 과제를 통합하는 일반화된 귀납적 과제 클래스를 연구합니다. 이 클래스에서, 우리는 어텐션 모델의 훈련 역학이 고도로 해석 가능한 저차원 불변 다양체(invariant manifold)에 국한될 수 있음을 이론적으로 증명합니다. 이 다양체 위에서, 학습 역학은 수백만 개의 매개변수라기보다는 소수의 해석 가능한 좌표들에 의해 포착되며, 이는 이론적 및 경험적 분석 모두를 더 다루기 쉽게 만듭니다. 이 프레임워크를 사용하여, 우리는 데이터 통계가 in-context 학습과 in-weights 학습 간의 경쟁을 어떻게 지배하는지 특성화하고, 여러 해답이 가능한 경우 무작위 초기화가 어떤 '승리' 회로(winning circuit)를 결정하는지 연구하며, 다양체와 관련된 좌표 프레임이 훈련된 모델에서 어떤 회로가 학습되었는지 자동으로 감지하는 데 사용될 수 있음을 입증합니다. 회로 형성을 저차원 동역학적 현상으로 간주함으로써, 우리는 트랜스포머가 어떻게 학습하는지에 대한 예측 이론을 향한 발걸음을 내딛습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기