RedVox: 언어 간 음성 모델의 안전성 및 공정성 격차

음성 처리 능력을 갖춘 모델들이 다양한 언어에 걸쳐 실제 애플리케이션에 점점 더 많이 배치되고 있습니다. 그러나 영어 환경을 넘어 자연스러운 조건에서의 안전성(Safety)과 공정성(Fairness)은 여전히 충분히 연구되지 않은 상태입니다. 우리는 최첨단 음성 모델 출시 과정에서의 안전성 보고 관행을 조사하였으며, 그 결과 단 8%만이 다국어 분석을 문서화하고 있다는 것을 발견했습니다. 이러한 격차를 해소하기 위해, 우리는 실제 목소리를 기반으로 구축된 오디오 및 음성을 위한 다국어 안전성 및 공정성 벤치마크인 RedVox를 소개합니다. RedVox는 5개 언어(영어, 프랑스어, 이탈리아어, 스페인어, 독일어)에 걸쳐 안전하지 않거나 불공정한 고정관념적 요청을 다룹니다. 8개의 최첨단 모델을 평가한 결과, 취약성은 비적대적(Non-adversarial) 조건에서도 지속되며, 비영어권 언어에서 악화되고, 요청이 음성 입력(Spoken input)으로 들어올 때 증폭된다는 것을 발견했습니다. 마지막으로, RedVox에 기여한 참가자들을 조사함으로써, 인간 참가자를 대상으로 음성 데이터를 수집할 때 발생하는 고유한 개인정보 및 프라이버시 문제를 기록하였으며, 이는 자연스러운 음성 안전성 연구에서의 더 광범위한 사회기술적(Sociotechnical) 과제를 시사합니다.