아프리카 언어 NLI 평가의 샘플 크기 스케일링 (Sample-Size Scaling)

아프리카 언어들은 레이블이 지정된 데이터(labelled data)가 매우 적으며, 주석 데이터(annotation data)의 양을 늘리는 것이 다운스트림 성능(downstream performance)을 안정적으로 향상시키는지 여부는 불분명합니다. 본 연구는 AfriXNLI 벤치마크를 기반으로 16개 아프리카 언어에 대한 자연어 추론 (NLI)의 체계적인 샘플 크기 스케일링 (sample-size scaling) 연구입니다. 통제된 조건 하에서, XNLI로 파인튜닝된(fine-tuned) 약 0.6B 파라미터를 가진 두 가지 다국어 트랜스포머 (transformer) 모델인 XLM-R Large와 AfroXLM-R Large를 50개에서 500개 사이의 레이블 지정된 예시 샘플 크기로 테스트하고, 무작위 서브샘플링 (subsampling) 실행에 따른 결과의 평균을 산출했습니다. 데이터 증가에 따라 성능이 단조 증가할 것이라는 일반적인 믿음과 달리, 우리는 언어에 매우 민감하고 종종 단조롭지 않은 (non-monotonic) 스케일링 동작을 발견했습니다. 일부 언어는 샘플 크기에 따라 조기 포화 (early saturation) 또는 성능 저하를 보였으며, 저자원 환경 (low resource regimes)에서 높은 분산 (variance)을 나타냈습니다. 이러한 결과는 데이터의 양만으로는 아프리카 NLI의 안정적인 이득을 보장하기에 충분하지 않음을 나타내며, 언어 민감형 데이터셋 구축과 더 강력한 다국어 모델링 (multi-lingual modelling) 전략의 필요성을 제기합니다.