새로운 논문: 언어 모델 훈련 데이터의 반복이 성능에 미치는 영향

요약

새로운 연구는 언어 모델 훈련 데이터의 일부를 반복 사용하는 것이 모델 성능을 크게 저하시킬 수 있음을 보여주었습니다. 이 현상은 'double descent'와 관련이 있으며, 특히 일반화 및 컨텍스트 내 학습(in-context learning)과 관련된 알고리즘 구조가 데이터 반복에 의해 불균형적으로 손상됨을 밝혀냈습니다.

핵심 포인트

• 언어 모델 훈련 데이터의 부분적 반복은 성능 저하를 유발할 수 있다.
• 이 현상은 'double descent'와 연관되어 관찰되었다.
• 데이터 반복은 일반화 및 컨텍스트 내 학습(ICL)과 관련된 알고리즘 구조에 불균형적인 손상을 초래한다.