언어 모델은 구문론뿐만 아니라 구성 의미론(Constructional Semantics)을 학습하는가: Paired-Focus 구문에 대한

희귀 구문(form-meaning pairings, 형태-의미 쌍)의 의미를 파악하는 것은 매우 어려운 문제로 밝혀졌으며, 현재까지는 오직 가장 거대한 LLM(Large Language Models)들에 의해서만 해결되었습니다. 오픈 소스 모델들이 견고한 구성적 이해(constructional understanding)를 갖추고 있는지, 만약 그렇다면 이러한 지식 습득의 기저에 어떤 학습 역학(learning dynamics)이 있는지 여부는 여전히 미해결 과제로 남아 있습니다. 영어의 일련의 희귀한 Paired-Focus 구문(예: "let alone", "much less")에 초점을 맞추어, 우리는 스칼라 형용사 의미론(scalar adjectival semantics)과 일반적인 세상 지식(world knowledge)을 모두 사용하여 이들의 의미를 테스트하기 위한 새로운 데이터셋을 구축했습니다. 파라미터 수, 아키텍처(architecture), 사전 학습 데이터셋(pretraining dataset) 크기가 서로 다른 광범위한 모델들을 테스트한 결과, 몇몇 적당한 규모의 모델들은 Paired-Focus 구문의 형태와 의미 모두에 민감하게 반응하는 반면, 인간 규모의 데이터로 학습된 모델들은 모든 의미 평가에서 실패한다는 것을 발견했습니다. 오픈 체크포인트(open-checkpoint) 모델 세트의 학습 역학을 살펴보면, Paired-Focus에 대한 이해는 Paired-Focus의 구문론적 지식(syntactic knowledge)보다 학습 후반부에 나타나며, Paired-Focus 의미론의 학습은 특정 영역의 세상 지식 향상과 상관관계가 있음을 확인했습니다. 종합적으로, 우리의 실증적 결과는 적당한 규모의 오픈 소스 모델이 희귀한 Paired-Focus 구문을 파악할 수 있다는 결론을 뒷받침하며, Paired-Focus 구문에 대한 지식과 다른 의미 영역 간의 연결성을 입증합니다.