다국어 LLM 데이터 필터링: 언어 간 품질 전이 전략

대규모 언어 모델(LLMs)이 커지면서, 데이터 큐레이션의 초점은 단순한 데이터 양 극대화에서 신호 대 노이즈 비율을 최적화하는 질적 필터링으로 바뀌고 있습니다. 하지만 많은 저자원 언어는 자체적으로 충분한 고품질 데이터를 확보하기 어렵다는 문제가 있습니다.

본 연구는 임베딩 공간에 존재하는 품질 마커가 여러 언어에 걸쳐 일관성을 보일 수 있다는 가설을 세웠습니다. 이를 통해 고자원 언어가 저자원 언어의 데이터 필터링 과정에 도움을 줄 수 있도록 하는 방법을 탐구했습니다.

다양한 필터링 전략, 예를 들어 교차 언어 전이(cross-lingual transfer)나 3분위수 샘플링 (Q3 sampling), 그리고 리텐션 레이트 조정 등을 평가했습니다. 그 결과, 대규모 다국어 풀링 방식은 단일 언어 기준보다 랭크 안정성과 전체 정확도 모두에서 뛰어난 성능을 입증했습니다.

특히 이 방법은 고자원 언어(예: 프랑스어)의 경우 집계된 정규화 정확도를 1.2% 향상시키는 등 명확한 이점을 제공했으며, 저자원 언어의 경우 단일 언어 기준과 동등하거나 그 이상의 성능을 달성했습니다.

다만, 연구진은 단순히 데이터 규모를 키우는 것만으로는 안정적인 성능이 보장되지 않으며, 고자원 언어의 경우 Q3 샘플링이나 리텐션 레이트 조정 같은 추가적인 정교화 과정이 필수적임을 강조했습니다.