발달적 접근법을 통해 밝혀진 신경 언어 모델(NLM)의 통계적 학습: Transformer는 가장 추상적인 통계적 패턴으로부터 일반화한다

요약

Transformer 모델이 합성 문법을 학습하는 과정을 발달적 관점에서 분석한 연구입니다. 모델이 초기에는 추상적인 전역적 통계 지식을 먼저 습득하고, 이후 국소적 의존성을 학습한다는 사실을 밝혀냈습니다.

핵심 포인트

• Transformer는 초기 단계에서 가장 추상적인 통계 패턴부터 학습함
• 학습이 진행됨에 따라 국소적인 통계적 의존성을 습득함
• 학습 초기에는 과잉 일반화 현상이 나타나며 후기에 점진적으로 제약됨
• NLM의 통계적 학습과 언어 인지를 설명하는 새로운 프레임워크 제안