보이지 않는 것을 보기: 기호 추론에서의 트랜스포머 일반화 능력에 대하여

우리는 디코더 전용(decoder-only) 트랜스포머 모델이 추상적인 기호 추론(abstract symbolic reasoning)을 수행하는 능력을 조사했습니다. 구체적으로는 인컨텍스트(in-context)로 주어지는 명제 논리 추론 문제(propositional logic reasoning problems)를 해결하는 것입니다. 이전 연구에서는 모델이 훈련 중에 관찰되지 않은 변수 이름과 관련된 문제에 일반화하는 데 실패한다는 것을 입증했으며, 그 이유 중 하나는 보지 못한 토큰을 복사하거나 생성하는 것의 어려움이라는 것이 밝혀졌습니다. 우리는 또한 특정 표현적 붕괴(representational collapse)가 중요한 역할을 한다는 것을 이론적으로 그리고 경험적으로 보여줍니다: 즉, 보지 못한 토큰들의 언임베딩(unembeddings, 마지막 레이어 가중치)이 훈련 중에 거의 동일한 벡터로 붕괴합니다. 이 붕괴는 모델이 여러 개의 보지 못한 변수를 구별하기 어렵게 만들고 (특히 임베딩 및 언임베딩 매개변수가 공유될 때), 토큰의 (언)임베딩을 주기적으로 초기화하는 '능동적 망각(active forgetting)'과 같은 기존 휴리스틱 개입의 효과에 대한 기계론적 설명(mechanistic explanation)을 제공합니다.

이러한 관찰을 바탕으로, 우리는 복사를 용이하게 하는 작은 아키텍처 변경, 데이터 다양성, 그리고 (언)임베딩 동결 또는 초기화(freezing or resetting)를 포함하는 기술 조합을 고안하여 보지 못한 토큰에 대한 일반화를 달성했습니다. 우리는 명제 논리 추론 문제에 대한 광범위한 통제 실험으로 우리의 주장을 뒷받침합니다. 합성 실험 외에도, 우리는 다운스트림 사용을 위해 예약된 99개의 미사용 토큰을 포함하는 Gemma 3 계열의 오픈 가중치 모델(open-weight models)에서 (언)임베딩 붕괴의 증거를 관찰했습니다. 경험적으로 볼 때, 이 토큰들의 상관관계가 있는 임베딩은 파인튜닝 애플리케이션에 좋지 않은 초기화값임을 발견했습니다.