본문으로 건너뛰기
arXiv논문2026. 11. 20. 04:59
언어 모델 사전 학습을 위한 구조-잔여 귀납적 편향 대표 이미지

언어 모델 사전 학습을 위한 구조-잔여 귀납적 편향

원문 발행 2026. 11. 18. 03:38원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 언어 모델 사전 학습을 개선하기 위해 '구조-잔여 원리(structure--residual principle)'라는 새로운 귀납적 편향을 제안합니다. BBC와 CC라는 두 가지 상보적인 구현 방식을 통해, 표현 구조를 세부 사항으로부터 분리하는 방법을 연구했습니다. 이를 적용한 결과, GPT-2 Medium의 NLL을 1.44% 개선하며 모델 학습 성능 향상을 입증했습니다.

핵심 포인트

  • 구조-잔여 원리는 표현 구조를 실현 세부사항과 분리하는 새로운 귀납적 편향입니다.
  • BBC는 초기 레이어에, CC는 후기 레이어에서 가장 효과적인 깊이 선호도를 보였습니다.
  • 두 개념을 결합하여 GPT-2 Medium의 NLL을 1.44% 개선하는 성능 향상을 달성했습니다.
  • 구조-잔여 편향은 다음 토큰 예측을 넘어 모델 사전 학습 전반을 개선할 수 있습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0