영어 중심 개발을 넘어선 LLM 발전을 위한 연구

요약

오픈 웨이트 LLM이 영어 데이터에 심하게 편향되어 있음을 분석하고, 이를 해결하기 위한 지속적 사전 학습(continual pre-training)의 효율성을 검토했습니다. 연구 결과, 지속적 사전 학습은 문화적 이해를 개선하는 데 있어 처음부터 학습시키는 방식보다 비용 효율적이지 않은 것으로 나타났습니다. 이는 향후 LLM 개발이 영어 중심의 자원 확장보다는 언어별 전용 투자로 전환될 필요가 있음을 시사합니다.

핵심 포인트

• 오픈 웨이트 LLM의 시퀀스 분석 결과 영어 편향성이 확인됨
• 지속적 사전 학습(continual pre-training)이 문화적 이해 개선 측면에서 비용 효율적이지 않음
• 언어별 전용 데이터 및 모델 학습에 대한 투자의 중요성 증대