트랜스포머에서의 구성적 일반화 평가: 구성 동등성 및 모듈 커버리지의 역할

구성적 일반화(Compositional generalization)는 분포 외 일반화(out-of-distribution generalization)의 중요한 형태 중 하나로, 일부 모듈 조합(예: sort, filter와 같은 함수)으로 학습한 후 보지 못한 조합에도 일반화하는 능력을 정의합니다. 트랜스포머에서 구성적 일반화를 평가하는 많은 경험적 연구가 이루어졌음에도 불구하고, 평가는 종종 임시적으로 정의된 제한적인 훈련-테스트 분할(train-test splits)에 기반했기 때문에 그 결과들이 일관되지 않았습니다. 체계적인 평가를 통해 우리는 성능에 강력한 영향을 미치는 두 가지 핵심 측면, 즉 구성 동등성(composition equivalence)과 모듈 커버리지(module coverage)가 있음을 밝혀냈습니다. 우리는 직접 모델(direct models, 최종 출력만을 이용해 학습된 모델)의 명백한 성능이 주로 구성 동등성을 악용하는 데서 비롯된다는 것을 보여줍니다. 이는 동일한 종단 간(end-to-end) 함수로 축소되는 서로 다른 모듈 순서를 의미합니다. 벤치마크가 이러한 동등성들을 제거할 경우, 성능은 급격히 떨어지며, 이는 알려진 모듈들의 조합으로 새롭고 독창적인 종단 간 함수를 생성하는 데 일반화 능력이 부족함을 보여줍니다. 나아가 우리는 모듈 커버리지 이동(module coverage shifts)이 증가함에 따라 성능이 단조적으로 저하됨을 입증했습니다 (모듈들이 훈련과 테스트 사이에서 다른 맥락으로 나타날 때). 이는 중간 출력 및 최종 출력을 이용해 학습된 직접 모델과 단계별 모델(step-by-step models) 모두에 영향을 미칩니다. 이러한 발견들은 벤치마크 설계에 구체적인 시사점을 제공합니다: 구성적 동등성을 포함하는 벤치마크는 직접 모델의 일반화 능력을 과대평가하게 만들 수 있으며, 모듈 커버리지 위반과 구성적 동등성 둘 다를 포함하는 벤치마크는 지름길 학습(shortcut learning)을 악화시킬 수 있습니다. 사례 연구로서, 우리는 코딩 벤치마크 LiveCodeBench에서 전이 학습된 모델 Llama3-8B의 코드 출력 예측 작업에 대한 일반화 성능에서 구성적 동등성의 역할을 시연합니다.