Hausa 및 Fongbe 기계 번역을 위한 대규모 언어 모델(LLM) 평가: 벤치마크, 실패 사례 및 지표 신뢰성

우리는 각각 아프로-아시아어족(Afroasiatic)과 니제르-콩고어족(Niger-Congo)에 속하며 유형론적으로 구별되는 두 서아프리카 언어인 영어-Hausa 및 영어-Fongbe에 대한 현재 대규모 언어 모델(LLMs)의 번역 품질을 조사하고, 표준 자동 지표(automatic metrics)가 이러한 저자원 언어(low-resource languages)에 대해 인간의 판단을 신뢰성 있게 반영하는지 평가합니다. 우리는 네 가지 모델(GPT-4o Mini, Claude Sonnet 4, Gemini 2.5 Flash, Qwen2.5-7B)을 점진적인 규모(500~10,000개 문장)로 평가하였으며, 원어민의 판단을 통해 검증된 자동 지표(BLEU, chrF++, TER, COMET, BERTScore)를 사용했습니다. 우리의 결과는 세 가지 주요 발견을 보여줍니다. 첫째, 번역 품질은 언어에 따라 크게 다릅니다. Hausa는 수용 가능한 품질(인간 점수 4.0-4.5/5)을 달성한 반면, Fongbe는 낮은 품질(1.0-2.2/5)을 기록했으며, 모든 시스템에서 일관되게 3배의 BLEU 격차가 나타났습니다. 둘째, 모델 순위는 언어마다 다릅니다. 인간 평가 결과 Fongbe의 경우 Gemini가 앞섰고 Hausa의 경우 GPT-4o가 앞섰는데, 이는 하나의 저자원 아프리카 언어에서의 성능이 다른 언어에서의 성능을 예측하지 못함을 나타냅니다. 셋째, 지표와 인간 간의 상관관계(correlation)가 극적으로 다릅니다. Fongbe의 경우 완벽한 순위 상관관계(rho=1.0)를 보였으나, Hausa의 경우 약한 상관관계(rho=0.5)를 보였으며, Hausa에서는 모든 자동 지표가 Claude를 1위로 기록했음에도 불구하고 인간 평가자들은 GPT-4o를 선호했습니다. 우리는 더 나아가 BERTScore와 같은 신경망 지표(neural metrics)가 두 언어 모두에서 임베딩 붕괴(embedding collapse, 언어 내 유사도 >0.99)를 보이며, 이로 인해 번역 품질을 차별화하는 능력이 제한됨을 보여줍니다. 이러한 발견을 바탕으로, 우리는 저자원 아프리카 언어에 대해 다중 지표 평가(multi-metric evaluation)를 권장하며, 특히 신경망 지표를 해석할 때 주의를 기울일 것을 권고합니다. 또한 우리는 안정적인 시스템 순위를 위해 최소 n=2,500개 문장의 샘플 크기가 필요함을 입증하였으며, 더 작은 샘플은 규모가 커짐에 따라 결과가 뒤집히는 인위적인 발견(artifact findings)을 생성했습니다.