CRAFT: 훈련 데이터의 적응형 필터링을 위한 클러스터링 회귀

요약

본 논문은 대규모 코퍼스에서 효율적이고 고품질의 미세 조정 데이터 하위 집합을 선택하는 방법인 CRAFT(Clustered Regression for Adaptive Filtering of Training data)를 제안합니다. CRAFT는 소스-타겟 분포를 분해하고, k-means 클러스터링을 통해 예산을 할당하여 소스 분포를 검증 분포에 맞추고, 각 클러스터 내에서 조건부 기대 거리를 최소화하는 훈련 쌍을 선택합니다. 영어-힌디어 번역 작업 평가 결과, CRAFT는 기존 방법론(TSDS, TAROT) 대비 높은 BLEU 점수와 월등히 빠른 속도를 보여 우수한 성능을 입증했습니다.

핵심 포인트

• CRAFT는 대규모 데이터셋에서 미세 조정에 필요한 고품질의 적응형 훈련 하위 집합을 선택하는 방법론이다.
• 이 방법은 k-means 클러스터링을 사용하여 소스 분포를 검증 분포에 비례적으로 할당하고, 조건부 기대 거리를 최소화하여 최적의 훈련 쌍을 선택한다.
• 영어-힌디어 번역 작업에서 CRAFT는 기존 최고 성능 모델 대비 높은 BLEU 점수를 달성했다.
• CRAFT는 데이터 선택 과정이 매우 빠르며(예: TAROT 대비 2.8배 속도 향상), 계산 효율성이 뛰어나다.