할당 및 추가: 구성적 산술에 대한 기계론적 연구

대규모 언어 모델 (Large language models)은 복잡한 작업을 수행하기 위해 기술을 조합할 수 있으며, 이 중 상당수는 학습 과정에서 본 적이 없는 것일 수 있습니다. 이러한 조합이 정확히 어떻게 발생하는지에 대한 세부 사항은 여전히 불분명합니다. 본 논문에서는 변수 할당 (variable assignment) 및 모듈형 덧셈 (modular addition)을 포함하는 단순하고 통제된 설정을 고려함으로써, 트랜스포머 (transformers)에서의 구성적 일반화 (compositional generalization) 메커니즘을 연구합니다. 학습 데이터를 서로소 집합 (disjoint sets)으로 분할함으로써, 우리는 작은 규모의 트랜스포머가 이전에 본 적 없는 변수와 숫자의 조합으로 일반화할 수 있음을 관찰했습니다. 우리의 기계론적 분석 (mechanistic analysis)에 따르면, 입력이 직접 주어지든 별도의 변수 할당 메커니즘을 통해 간접적으로 주어지든 동일한 "모듈형 덧셈" MLP 모듈이 사용됩니다. 또한 우리는 경험적 관점에서 학습 역학 (training dynamics)을 분석하였으며, 이를 통해 세 가지 학습 단계가 있음을 밝혀냈습니다: 첫째, 모듈형 덧셈을 학습하고, 그다음 변수 할당에 필요한 구조를 학습하며, 마지막으로 모델이 학습 시 보지 못한 일부 어려운 시퀀스에 대해 일반화하는 정교화 (refinement) 단계입니다. 마지막으로, 우리는 구성성 (compositionality)이 학습 역학으로부터 어떻게 나타나는지를 설명하기 위한 이론적 프레임워크를 제공합니다. 이러한 결과는 구성적 일반화가 트랜스포머 내부 메커니즘의 구성성으로부터 비롯되는 자연스러운 결과일 수 있음을 시사합니다.