다층 트랜스포머의 정량적 일반화 경계: 몇 개의 긴 문자열이 많은 짧은 문자열을 능가할 수 있다

트랜스포머 기반 언어 모델(Transformer-based language models)은 훈련에서 본 것보다 더 길고 어려운 문제 인스턴스로도 놀라운 수준의 일반화 능력(generalization capacity)을 보여줍니다. 그러나 이 현상에 대한 이론적 이해는 여전히 뒤처져 있습니다. 대부분의 머신러닝 모델과 달리, 트랜스포머의 일반화 능력은 본질적으로 두 가지 축을 고려해야 합니다. 한편으로는 훈련 샘플에서 동일한 분포의 새로운 샘플로 함수를 확장하는 모델의 능력을 다루는 분포 내 통계적 일반화(in-distribution statistical generalization)를 검토해야 합니다. 다른 한편으로는 언어 데이터의 순차적인 특성을 고려하여, 주어진 길이의 입력으로 훈련된 모델이 더 긴 입력으로 외삽(extrapolate)할 수 있는지 여부를 반영하는 길이 일반화(length generalization)도 고려해야 합니다. 이 두 가지 개념은 대부분 별도로 연구되어 왔기 때문에, 이들이 어떻게 상호 작용하는지에 대한 이해는 부족했습니다. 본 논문에서는 고정 정밀도 트랜스포머(fixed-precision transformers)에 대해 이 두 축을 공동으로 다룹니다. 우리는 관련 모델의 매개변수 크기뿐만 아니라 시퀀스를 공급하는 양자화 공간(quantization space)과 알파벳 크기(alphabet size) 측면에서 일반화 보장(generalization guarantees)을 제시합니다. 마지막으로, 샘플 수와 훈련 길이 요구 사항 간의 상충 관계를 어떻게 조정할 수 있는지 보여줍니다. 특히, 훈련 길이를 늘리는 것이 샘플 크기를 늘리는 것보다 기하급수적으로 더 효율적일 수 있음을 발견했습니다. 실험 결과는 이론적 예측을 뒷받침합니다.