Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
언어 모델이 비동일 등위 접속(unlike coordination)을 학습할 때 직접적인 데이터 노출이 필수적인지 연구했습니다. GPT-2를 활용한 실험 결과, 모델은 동일 등위 접속 학습만으로도 비동일 사례를 성공적으로 일반화할 수 있음을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어의 근본적인 구조인 등위 접속(Coordination)은 여전히 격렬한 논쟁의 대상이며, 그 정확한 본질은 이론 언어학에서도 여전히 규명되지 않은 상태로 남아 있습니다. 동일 범주(same-category)의 구성 성분만이 결합될 수 있다는 견해가 일반적이지만, 자연어에서 발견되는 수많은 문법적 비동일 등위 접속(unlike coordinations)에 의해 이러한 견해는 도전을 받아왔습니다. 본 연구에서는 언어 모델을 계산적 테스트베드(computational testbed)로 활용하여, 비동일 등위 접속의 습득이 학습 데이터에서의 직접적인 노출을 필요로 하는지, 아니면 일반적인 구성 능력(compositional abilities)으로부터 유기적으로 창발될 수 있는지 조사합니다. 필터링된 코퍼스 학습(Filtered-Corpus Training, FiCT)을 사용하여, 모든 비동일 등위 접속 사례가 제거된 코퍼스로 GPT-2 모델을 학습시켰습니다. 연구 결과, 직접적인 노출은 필수적이지 않다는 것을 발견했습니다. 필터링된 데이터로 학습된 모델은 비동일 등위 접속으로 성공적으로 일반화되었으며, 필터링되지 않은 텍스트로 학습된 모델과 유사한 퍼플렉시티(perplexity) 및 문법성 판단(grammaticality judgments) 성능을 달성했습니다. 나아가, 내부 표현(internal representations)에 대한 분석을 통해 언어 모델이 결합된 요소들을 유사한 구조적 범주에 속하는 것으로 취급하거나 삭제(deletion)와 유사한 메커니즘을 통해 비동일 등위 접속을 처리한다는 것을 확인했습니다. 이 두 방식 모두 동일 등위 접속(alike coordination)에 대한 노출만으로도 학습 가능한 것으로 보입니다. 본 연구는 언어 모델이 언어 구조를 내부적으로 어떻게 표현하는지에 대한 이해를 넓히는 데 기여하는 동시에, 모델이 직접적인 노출 없이 어떻게 비동일 등위 접속을 일반화하고 처리하는지를 보여줌으로써 등위 접속에 관한 광범위한 논쟁에 기여합니다.