번역에 실패한 이유: 낮은 편향 점수가 더 공정한 모델을 의미하지 않는 이유

다국어 언어 모델의 편향 감사(Bias audits)는 보통 모델의 영어 평균 고정관념 점수와 다른 언어에서의 평균 점수를 비교하여 그 차이를 공정성의 차이로 해석합니다. 우리는 이 차이 중 얼마나 많은 부분이 노이즈인지 질문합니다. 8개 언어로 10개의 오픈 모델을 감사하면서, 우리는 단순히 재작성된 영어 테스트 항목에 따라 점수가 얼마나 움직이는지 측정하고, 모든 언어 전환 항목을 개별적으로 테스트하며, 의도적으로 주입한 변화를 테스트가 포착하는지 확인했습니다. 70개 모델-언어 쌍 모두에서 고정관념 점수는 영어 수준보다 낮았으며, 힌디어(Hindi), 한국어(Korean), 스와힐리어(Swahili)의 경우 그 하락폭이 단순히 영어를 재작성했을 때 발생하는 것보다 명확하게 크며; 대부분은 StereoSet 항목에서 비롯됩니다. 모든 번역을 판단한 결과, 불완전한 번역이 더 많이 떨어지지만, 충실한 번역만으로도 거의 비슷한 수준만큼 떨어집니다. 그럼에도 불구하고, 낮은 평균 점수가 모델이 더 공정하다는 것을 보여주지는 않습니다. 한 항목의 영어 점수는 재작성된 점수보다 번역된 점수를 훨씬 덜 예측합니다(충실한 번역에서 상관관계 0.23, 0.27 대 0.48). 반면, 점수는 중립점으로부터 여전히 멀리 떨어져 있고, 모델들은 번역된 항목에 대해 동의하며, 힌디어 또는 스페인어 내에서는 번역된 항목의 점수가 자체 재작성된 점수와 각각 0.84 및 0.82로 상관관계를 가집니다. 평균값은 낮은 편향과 다른 패턴의 항목별 점수를 구별할 수 없습니다. 또한, 우리는 편향 신호를 조용히 지우는 세 가지 일반적인 파이프라인 오류를 문서화하고 코드를 공개합니다.