언어 모델 내의 문법 적절성 표현

요약

본 연구는 언어 모델(LMs)이 단순히 문자열의 가능성(likelihood)을 최대화하는 것과 별개로, 문법적 적절성을 암묵적으로 학습했는지 탐구한다. 자연주의 텍스트 코퍼스에 변형을 가한 문법적 및 비문법적 데이터셋을 사용하여 선형 프로브를 훈련시킨 결과, 이 프로브가 인간의 판단 기준에 일반화되며 기존 LM 확률 기반 방법보다 우수한 성능을 보였다. 또한, 이 프로브는 교차 언어 일반화 능력을 보여주었으며, 이는 LMs가 내부적으로 문법적 적절성 구분을 수행하고 있음을 시사한다.

핵심 포인트

• 언어 모델의 문자열 확률은 문법적/비문법적 구분에 한계가 있지만, 별도의 프로브를 통해 암묵적인 문법 적절성 구분이 가능함을 입증했다.
• 훈련된 문법 적절성 프로브는 인간이 정교화한 벤치마크에 일반화되며 기존 LM 확률 기반 판단을 능가하는 성능을 보였다.
• 해당 프로브는 교차 언어 일반화(cross-lingual generalization) 능력을 보여주었으며, 이는 LMs의 범용적인 문법 이해를 시사한다.
• 프로브 점수는 문자열 확률과 약한 상관관계를 가지며, 이는 LM이 내부적으로 별도의 문법적 지식을 보유하고 있음을 의미한다.