트랜스포머의 이중적 추론 모드가 작업 벡터 기하학을 기반으로 함

요약

본 논문은 트랜스포머 모델이 컨텍스트에 따라 두 가지 추론 모드(In-Distribution 및 Out-of-Distribution)를 가질 수 있음을 보여줍니다. 내부 표현을 분석한 결과, 학습된 작업 벡터 기하학이 이 두 모드를 지배함을 밝혀냈습니다. 구체적으로, 분포 내 행동은 기존 작업 벡터의 볼록 결합으로 구현되는 베이즈적 검색에 의해 발생하며, 분포 밖 일반화는 작업 벡터 공간과 직교하는 새로운 서브스페이스를 차지하는 추측성 학습을 통해 이루어집니다.

핵심 포인트

• 트랜스포머 모델은 컨텍스트 기반으로 두 가지 상이한 추론 모드(In-Distribution 및 Out-of-Distribution)를 가질 수 있다.
• 분포 내 행동(ID)은 학습된 작업 벡터의 볼록 결합을 통한 베이즈적 작업 검색(Bayesian task retrieval)에 의해 지배된다.
• 분포 밖 일반화(OOD)는 기존 작업 공간과 직교하는 서브스페이스를 차지하며, 추측성 작업 학습(extrapolative task learning)을 통해 발생한다.
• 작업 벡터 기하학은 모델의 일반화 행동 및 훈련 분포와 밀접하게 연결되어 있다.