Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 기존 영어 품질 분류기를 다국어 변형으로 확장하여 100개 이상의 언어로 LLM 사전 학습 데이터의 품질 필터링을 수행하는 방법을 제안합니다. 트랜스포머 인코더 임베딩과 MLP를 사용하여 다국어 텍스트에 적용하고, 그 성능이 기존 기준선 대비 우수함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLM)의 최근 발전은 성능 향상에 고품질 훈련 데이터가 중요하다는 점을 강조합니다. 웹 규모 코퍼스에서 고품질 하위 집합을 선택하는 데 모델 기반 필터링이 효과적임이 입증되었지만, 특히 저자원 언어는 주석이 달린 데이터의 가용성이 제한되어 어려움을 겪습니다. 본 연구는 기존 영어 품질 분류기를 다국어 변형으로 변환하여 100개 이상의 언어로 품질 필터링을 확장하는 방법을 탐구합니다. 저희 접근 방식은 트랜스포머 인코더 전용 모델 임베딩 위에 작은 다층 퍼셉트론(Multi-layer Perceptron)을 훈련시키고, 다국어 텍스트를 입력으로 사용하며 기계 번역된 텍스트에 영어 분류기를 적용하여 얻은 점수를 레이블로 사용합니다. 저희의 1B, 3B 및 8B 규모 실험 결과는 본 접근 방식이 기존 다국어 모델 기반 필터링 기준선(baseline)의 다운스트림 LLM 벤치마크 성능을 손상시키지 않으면서 유지함을 보여주었으며, 지역적 및 문화적 지식 벤치마크에서도 마찬가지입니다. 또한, 교차 언어 일반화(cross-lingual generalization)를 추가로 평가하기 위해 고품질 합성 데이터와 웹 샘플의 분류기 점수를 비교하고, 분류기 점수와 LLM 기반 점수의 상관관계를 분석했으며, 이를 통해 해당 분류기가 훈련 데이터에 포함되지 않은 언어의 경우에도 원래 영어 변형의 채점 기준을 학습할 수 있음을 밝혀냈습니다.