KletterMix: 고품질 독일어 사전 학습 데이터(Pretraining Data)를 향한 도약

고품질 사전 학습 데이터(Pretraining data)는 현대 언어 모델의 핵심 요소이지만, 독일어 자원은 영어 자원에 비해 훨씬 덜 발달된 상태로 남아 있습니다. 독일어 데이터는 종종 규모가 더 작고, 정교한 큐레이션(Curation)이 부족하며, 문서화가 미흡하고, 통제된 학습 실험을 통해 검증되는 경우가 드뭅니다. 우리는 자연어 처리(NLP) 및 모델링 커뮤니티에서 재사용 가능한 데이터셋 결과물로 설계된, 언어 모델의 사전 학습(Pretraining) 및 어닐링(Annealing)을 위한 고품질 독일어 코퍼스(Corpus)인 KletterMix를 소개합니다. KletterMix는 문서 경계, 메타데이터, 소스 구조 및 주제적 다양성을 유지하면서 최첨단 영어 사전 학습 코퍼스를 독일어로 번역하여 구축되었습니다. 이러한 구축 방식은 현대적인 사전 학습 데이터셋의 규모와 다양성을 갖춘 독일어 코퍼스를 생성하는 동시에, 영어 원본 데이터와의 직접적인 비교를 가능하게 합니다. 우리는 번역 품질, 문서 길이 분포, 주제 범위, 소스 구성 및 지리적 메타데이터를 포함한 광범위한 코퍼스 수준의 분석을 통해 데이터셋을 문서화합니다. COMETKiwi를 사용하여, 번역된 문서들이 다양한 도메인에 걸쳐 강력한 품질을 달성함을 보여주며, 이는 세심한 번역이 원본 코퍼스의 의미론적 및 문체적 풍부함을 상당 부분 보존할 수 있음을 시사합니다. 데이터셋 구축을 넘어, 우리는 KletterMix를 학습 데이터로서 평가합니다. 기존의 독일어 코퍼스들과 비교한 통제된 사전 학습(Pretraining) 및 어닐링(Annealing) 절제 연구(Ablation)를 통해, KletterMix로 학습된 모델이 독일어 하위 작업(Downstream) 평가에서 측정 가능한 개선을 달성함을 보여줍니다. 이러한 결과는 세심하게 큐레이션된 번역 데이터가 독일어 사전 학습 데이터 생태계를 실질적으로 강화할 수 있음을 입증합니다.