트랜스포머의 인컨텍스트 학습 (In-Context Learning) 능력에 대한 조사

트랜스포머는 추론 시점에 제공되는 예시 입력 - 출력 쌍만을 사용하여 이전에 보지 못한 작업을 해결할 수 있도록 하는 강력한 인컨텍스트 학습 (ICL) 능력을 보여왔습니다. 이전의 이론적 연구는 트랜스포머가 인컨텍스트에서 선형 분류를 수행할 수 있는 조건을 확립했지만, 이 메커니즘이 성공하는 시점을 지배하는 경험적 스케일링 행동은 여전히 충분히 특징화되지 않았습니다. 본 논문에서는 가우시안 혼합 이진 분류 (Gaussian-mixture binary classification) 작업에 대한 인컨텍스트 학습의 체계적인 경험적 연구를 수행합니다. Frei and Vardi (2024) 의 이론적 프레임워크를 바탕으로, 우리는 인컨텍스트 테스트 정확도가 입력 차원 (input dimension), 인컨텍스트 예시 수 (number of in-context examples), 그리고 사전 학습 작업 수 (number of pre-training tasks) 라는 세 가지 기본 요인에 어떻게 의존하는지 분석합니다. 제어된 합성 설정과 선형 인컨텍스트 분류기 형식을 사용하여, 모델이 컨텍스트만으로부터 작업 구조를 성공적으로 추론할 수 있는 기하학적 조건을 분리해냅니다. 우리는 또한 모델이 노이즈가 있는 인컨텍스트 레이블을 기억하면서도 깨끗한 테스트 데이터에서 강력한 일반화 성능을 달성하는 유해하지 않은 과적합 (benign overfitting) 의 출현을 추가로 조사합니다. 차원성, 시퀀스 길이, 작업 다양성, 그리고 신호 대 잡음 비율 (signal-to-noise regimes) 을 광범위하게 스캔함으로써 이 현상이 나타나는 매개변수 영역을 식별하고, 이것이 데이터 기하학과 학습 노출에 어떻게 의존하는지 특징화합니다. 우리의 결과는 인컨텍스트 분류의 스케일링 행동에 대한 포괄적인 경험적 지도를 제공하며, 차원성, 신호 강도, 그리고 컨텍스트 정보가 인컨텍스트 학습이 성공하거나 실패하는 시점을 결정하는 데 있어 갖는 결정적인 역할을 강조합니다.