언어 모델 내의 문법 적절성 표현

인간 언어에서 문법 적절성 (grammaticality) 과 가능성 (likelihood) 은 구별되는 개념입니다. corpus likelihood 를 최대화하도록 적합된 확률적 언어 모델 (LMs) 은 문법적으로 잘 구성된 텍스트를 생성하고, 엄밀하게 통제된 최소 쌍 (minimal pairs) 에서 문법적 및 비문법적 문장 사이의 구분을 잘 수행합니다. 그러나 그들의 문자열 확률 (string probabilities) 은 전반적으로 문법적 및 비문법적 문장 사이의 명확한 구분을 하지 못합니다. 하지만 LMs 은 문자열 확률과 구별되는 문법 적절성 구분 을 암묵적으로 획득했는가? 우리는 자연주의 텍스트 corpus 에 적용하여 변형 (perturbations) 을 가한 문법적 및 (합성된) 비문법적 문장 데이터셋에서 선형 probe 를 훈련함으로써 이 질문을 탐구합니다. 우리는 이 간단한 문법 적절성 probe 가 인간이 정교화한 문법 적절성 판단 벤치마크에 일반화되며, LM 확률 기반 문법 적절성 판단 을 능가함을 발견합니다. 그러나 최소 쌍의 두 구성원이 모두 문법적이며 오직 가능성 (plausibility) 만이 다른 의미적 타당성 벤치마크 (semantic plausibility benchmarks) 에 적용될 때 probe 는 문자열 확률보다 성능이 떨어집니다. 영어를 훈련한 probe 는 또한 많은 다른 언어에서 문자열 확률을 능가하는 교차 언어 일반화 (cross-lingual generalization) 를 나타냅니다. 또한, probe 점수는 문자열 확률과 약하게만 상관관계를 가집니다. 이러한 결과는 LMs 이 그들의 숨겨진 레이어 (hidden layers) 내에서 일정 부분 암묵적인 문법 적절성 구분 을 획득함을 collectively 시사합니다.