언어 모델 학습을 위한 데이터 필터링 방법론

요약

본 연구는 언어 모델 학습 시 데이터 품질을 높이기 위한 레이블 오류 탐지 방법론인 Confident Learning과 Dataset Cartography를 비교 분석합니다. 다양한 러시아어 텍스트 코퍼스를 대상으로 실험한 결과, 데이터셋의 규모와 노이즈 수준에 따라 각 방법론의 효과가 다름을 확인했습니다.

핵심 포인트

• Confident Learning은 노이즈가 높은 소규모 데이터셋에서 F1-macro 성능을 크게 향상시킴
• Dataset Cartography는 상대적으로 적은 데이터를 제거하는 보수적인 특성을 보임
• 데이터셋 특성에 따라 자동 레이블 오류 탐지 방법론의 유효성이 달라짐
• 두 방법론 모두 무작위 데이터 제거보다 모델 성능 유지에 효과적임