언어 모델은 참조를 구성적으로 해결할 수 있지만, 그것이 본래의 강점은 아니다: 개인 관계 과제(Personal Relation Task)의

Large Language Models (LLM)와 같은 신경망 모델(neural models)은 자연어 해석을 위한 구성적 능력(compositional abilities)을 진정으로 습득하는가? 의미론적 해석(semantic interpretation)을 논할 때, 우리는 두 가지 상호 보완적인 측면을 구분할 수 있다: 표현이 세상의 무엇을 지칭하는지 확립하는 것(이를 외연적 과제(Extensional task)라고 부름)과 그 의미(sense)를 구조적인 방식으로 표현하는 것(이를 내포적 과제(Intensional task)라고 부름)이다. 우리는 사람들의 집합과 그들 사이의 관계가 주어졌을 때, "Amber의 부모의 친구"와 같은 명사구(noun phrase)를 해석하도록 요구되는 개인 관계 과제(Personal Relation Task, Paperno 2022) 설정에서 LLM과 인간을 두 과제 모두에 대해 평가한다. 여기서 내포적 과제(Intensional task)에 대한 답은 "friend(parent(amber))"라는 공식이며, 외연적 과제(Extensional task)에 대한 답은 해당 인물이다. 우리는 인간과 LLM이 정반대의 강점을 보인다는 것을 발견했다: 인간은 내포적 과제보다 외연적 과제에서 더 높은 성능을 보이는 반면, LLM은 그 반대이다. 우리의 방법론은 현대 머신러닝 모델의 구성적 능력에 대한 이해에 더 큰 미묘함(nuance)을 제공한다. 우리의 결과는 LLM 학습에서 참조적 접지(referential grounding)의 결여가 인간과 유사한 언어 이해를 모방하는 데 있어 결정적으로 누락된 요소라는 개념을 뒷받침한다.