합성 전(Pre)-사전 훈련이 언어 모델의 노이즈가 포함된 사전 훈련 데이터에 대한 강건성을 향상시킨다

요약

본 연구는 대규모 언어 모델(LLMs)의 사전 훈련 데이터에 내재된 노이즈가 모델 성능을 저하시키는 문제를 다루며, 이를 해결하기 위해 합성 데이터를 기반으로 하는 경량의 전(Pre)-사전 훈련(PPT) 단계를 제안합니다. 다양한 손상 설정에서 PPT를 거친 모델은 후속 사전 훈련 단계에서 노이즈 데이터에 대한 강건성을 일관되게 향상시키는 것으로 나타났습니다. 특히, 이 방법은 적은 양의 합성 데이터를 사용하여 자연어 텍스트의 토큰 사용량을 크게 줄이면서도 높은 성능을 유지할 수 있음을 입증했습니다.

핵심 포인트

• LLMs는 웹 코퍼스 기반 사전 훈련 데이터에 내재된 노이즈 문제에 직면한다.
• 합성 데이터를 활용한 경량의 전(Pre)-사전 훈련(PPT) 단계가 모델의 강건성을 높이는 데 효과적이다.
• PPT는 단순히 노이즈를 직접적으로 차단하는 것이 아니라, 노이즈가 포함된 데이터 처리 과정에서 주의 가중치를 점진적으로 낮추어 안정화시킨다.
• 실험 결과, PPT는 적은 양의 합성 토큰(예: 1B 매개변수 모델의 경우 65M 토큰)만으로도 기존 자연어 텍스트 대비 상당한 효율성 향상을 보여준다.