붕괴 전의 구조: 다음 토큰 예측에서의 일시적인 의미론적 기하학 (Transient semantic geometry in next-token

Neural Collapse (신경 붕괴)는 균형 잡힌 원-핫 분류 (one-hot classification)가 모델의 표현 (representations)을 서로 동일한 거리만큼 떨어지게 만든다고 예측합니다. 이는 출력 레이블 (output label)에만 의존하며 입력값 사이의 어떠한 의미론적 유사성 (semantic similarity)도 무시하는 대칭적인 구성입니다. 여기서 하나의 수수께끼가 발생합니다. 다음 토큰 예측 (next-token prediction) 언어 모델은 (컨텍스트 길이 (context length)가 증가함에 따라) 주로 원-핫 레이블 (one-hot labels)로 학습됩니다. 즉, 동일한 컨텍스트가 학습 과정에서 서로 다른 레이블과 함께 두 번 나타날 가능성은 매우 낮습니다. 그럼에도 불구하고, 모델은 잠재적인 구조적 특징 (latent structural features)을 명확하게 학습합니다. 즉, 원-핫 학습 체제 (one-hot training regime)에도 불구하고, 언어 모델의 컨텍스트 임베딩 (contextual embeddings)은 "Mary broke the ___"에서 다음에 올 단어가 a) 중간 크기의, b) 단단한, c) 무생물 명사라는 잠재 클래스 (latent classes)에 속하는 토큰들로 채워질 가능성이 높다는 사실을 나타냅니다. 공출현 통계 (co-occurrence statistics)가 원-핫 희소성 (one-hot sparsity)으로 붕괴되어 서로 다른 컨텍스트 간의 공유된 다음 토큰 (shared next-tokens)이 사라질 때, 경사 하강법 (gradient descent)은 어떻게 이러한 범주적 의미 구조 (categorical semantic structure)를 찾아낼 수 있을까요? 이러한 긴장 관계를 조사하기 위해, 우리는 입력값이 잠재적인 의미 인자 (latent semantic factors)를 가지고 있지만 서로 다른 원-핫 레이블로 매핑되는 세 가지 합성 제어 환경 (synthetic controlled settings)을 식별했습니다. 우리는 의미론적 기하학 (semantic geometry)이 학습 초기 단계에 나타나며, 명시적인 감독 (explicit supervision)이 없음에도 불구하고 표현들이 공유된 속성에 따라 클러스터링 (cluster)된다는 것을 발견했습니다. 이 구조는 일시적 (transient)입니다. 충분한 용량 (capacity)과 시간이 주어지면, 모델은 결국 모든 표현이 동일하게 분리되는 예측된 대칭 상태 (symmetric state)에 도달합니다. 우리는 Gram 행렬 분석 (Gram matrix analysis)을 통해 이러한 상전이 (phase transition)를 연구하며, 창발적인 의미론적 기하학 (emergent semantic geometry)을 포착하기 위해 흔히 사용되는 제약 없는 특징 모델 (unconstrained features model)에 대한 예비적인 수정을 제안합니다.