언어 모델 사전 학습을 위한 구조-잔여 귀납적 편향
요약
본 논문은 언어 모델 사전 학습을 개선하기 위해 '구조-잔여 원리(structure--residual principle)'라는 새로운 귀납적 편향을 제안합니다. BBC와 CC라는 두 가지 상보적인 구현 방식을 통해, 표현 구조를 세부 사항으로부터 분리하는 방법을 연구했습니다. 이를 적용한 결과, GPT-2 Medium의 NLL을 1.44% 개선하며 모델 학습 성능 향상을 입증했습니다.
핵심 포인트
- 구조-잔여 원리는 표현 구조를 실현 세부사항과 분리하는 새로운 귀납적 편향입니다.
- BBC는 초기 레이어에, CC는 후기 레이어에서 가장 효과적인 깊이 선호도를 보였습니다.
- 두 개념을 결합하여 GPT-2 Medium의 NLL을 1.44% 개선하는 성능 향상을 달성했습니다.
- 구조-잔여 편향은 다음 토큰 예측을 넘어 모델 사전 학습 전반을 개선할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기