다국어 LLM 데이터 필터링: 언어 간 품질 전이 전략

요약

대규모 언어 모델(LLMs)의 발전과 함께 데이터 큐레이션은 단순히 양을 늘리는 것에서 질적 필터링으로 초점이 이동하고 있습니다. 하지만 많은 저자원 언어는 자체적으로 고품질 데이터를 확보하기 어렵습니다. 본 연구는 임베딩 공간 내 품질 마커가 언어 간 일관성을 가질 수 있다는 가정 하에, 고자원 언어가 저자원 언어의 데이터 필터링을 지원할 수 있는 방법을 탐구합니다. 다양한 필터링 전략(예: 교차 언어 전이, Q3 샘플링)을 평가한 결과, 대규모 다국어 풀링 방식이 단일 언어 기준보다 높은 성능을 보였습니다. 특히 고자원 언어의

핵심 포인트

• 대용량 LLM 학습에서 데이터 필터링은 양적 증가보다 질적 최적화가 중요합니다.
• 임베딩 공간의 품질 마커는 언어 간 일관성을 가질 수 있어, 고자원 언어가 저자원 언어 학습을 지원할 수 있습니다.
• 다국어 풀링 방식이 단일 언어 기준 대비 전반적인 정확도와 랭크 안정성 면에서 우수한 성능을 보였습니다.
• 최적의 결과를 얻기 위해서는 단순히 데이터 규모를 늘리는 것 외에, Q3 샘플링이나 리텐션 레이트 조정 같은 정교한 필터링 기법이 필요합니다.