무(無)에서 유(有)를: 언어 모델이 '0'을 발견할 수 있는가?

요약

언어 모델이 학습 데이터 범위를 넘어 수학적 개념인 '0'을 독립적으로 발견할 수 있는지 연구했습니다. GPT-2 규모의 모델은 사전 학습 없이 일반화에 한계가 있으나, 특정 예시 학습과 언어 사전 학습을 통해 수학적 발견 능력이 향상됨을 확인했습니다.

핵심 포인트

• 언어 모델의 분포 외 일반화(OOD) 능력으로서의 수학적 발견 조사
• GPT-2 규모 모델은 언어 사전 학습 없이 수학적 일반화 수행이 어려움
• 수십~수백 개의 예시 학습 시 모델의 수학적 성능 실질적 향상
• 언어 능력이 신경망의 수학적 발견을 보조(Scaffold)하는 역할 수행