커리큘럼 학습 하에서 언어 모델링이 쉬운 언어의 종류는 무엇인가?

요약

본 연구는 언어 모델(LM)이 특정 유형론적 경향성을 학습하는 방식과 관련하여, 커리큘럼 학습(Curriculum Learning, CL)의 효과를 탐구합니다. 특히 무작위 입력 순서 대신 쉬운 문장부터 시작하는 CL 방식을 적용했을 때, LM의 명목상 귀납적 편향에 상당한 영향을 미친다는 것을 발견했습니다.

핵심 포인트

• 언어 모델은 언어 유형론적 경향성(예: 어순)을 학습할 수 있으며, 이는 예측 가능한 조건이 존재합니다.
• 본 연구는 LM의 귀납적 편향과 학습 시나리오가 어떻게 상호작용하는지 탐구합니다.
• 커리큘럼 학습(CL)은 무작위 입력 대신 쉬운 문장부터 시작하는 방식으로, LM의 성능에 영향을 미칩니다.
• CL을 기존 LM 기반 탐색에 적용한 결과, CL이 LM의 명목상 귀납적 편향에 유의미한 변화를 가져옴을 입증했습니다.