Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 구성적 능력과 의미론적 해석 능력을 외연적 및 내포적 과제로 나누어 분석한 연구입니다. 실험 결과, 인간은 외연적 과제에 강한 반면 LLM은 내포적 과제에 더 강한 성능을 보이며 상반된 특성을 나타냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Large Language Models (LLM)와 같은 신경망 모델(neural models)은 자연어 해석을 위한 구성적 능력(compositional abilities)을 진정으로 습득하는가? 의미론적 해석(semantic interpretation)을 논할 때, 우리는 두 가지 상호 보완적인 측면을 구분할 수 있다: 표현이 세상의 무엇을 지칭하는지 확립하는 것(이를 외연적 과제(Extensional task)라고 부름)과 그 의미(sense)를 구조적인 방식으로 표현하는 것(이를 내포적 과제(Intensional task)라고 부름)이다. 우리는 사람들의 집합과 그들 사이의 관계가 주어졌을 때, "Amber의 부모의 친구"와 같은 명사구(noun phrase)를 해석하도록 요구되는 개인 관계 과제(Personal Relation Task, Paperno 2022) 설정에서 LLM과 인간을 두 과제 모두에 대해 평가한다. 여기서 내포적 과제(Intensional task)에 대한 답은 "friend(parent(amber))"라는 공식이며, 외연적 과제(Extensional task)에 대한 답은 해당 인물이다. 우리는 인간과 LLM이 정반대의 강점을 보인다는 것을 발견했다: 인간은 내포적 과제보다 외연적 과제에서 더 높은 성능을 보이는 반면, LLM은 그 반대이다. 우리의 방법론은 현대 머신러닝 모델의 구성적 능력에 대한 이해에 더 큰 미묘함(nuance)을 제공한다. 우리의 결과는 LLM 학습에서 참조적 접지(referential grounding)의 결여가 인간과 유사한 언어 이해를 모방하는 데 있어 결정적으로 누락된 요소라는 개념을 뒷받침한다.