자기지도 화성인식 모델의 음소 레벨 임베딩 내 인구통계학적 불공정성 식별 및 유형화

요약

본 논문은 자동 화성인식(ASR) 시스템에서 특정 화자 그룹(SG)에 대한 성능 불공정성을 식별하고 유형화하는 프레임워크를 제안합니다. 연구진은 ASR 모델이 범할 수 있는 두 가지 오류 유형, 즉 '무작위 오류/고분산'과 '체계적 오류/임베딩 편향'을 정의했습니다. 이들은 단일 SG에 대한 탐침 훈련이 성능 향상을 가져오는 것을 통해 임베딩 내 SG 레벨 편향의 존재를 입증했으며, 두 가지 오류 유형 모두 ASR의 불공정성 원인이 될 수 있음을 결론지었습니다.

핵심 포인트

• ASR 시스템은 특정 화자 그룹(SG)에 대해 성능 격차(불공정성)를 보이며, 이는 모델링 오류와 관련이 있습니다.
• 두 가지 주요 오류 유형을 제안: 1) 무작위 오류/고분산 (Random Error/High Variance)과 2) 체계적 오류/임베딩 편향 (Systematic Error/Embedding Bias).
• 단일 SG에 대한 탐침 훈련이 성능 향상을 가져오는 것은 음소 임베딩 내 SG 레벨의 '체계적 편향' 존재를 시사합니다.
• 두 가지 오류 유형 모두 ASR 불공정성의 잠재적 원인이지만, 무작위 오류가 공정성에 더 큰 방해 요인일 수 있습니다.
• 기존의 공정성 향상 기법(도메인 적응, 적대적 훈련)만으로는 근본적인 임베딩 수준의 편향 문제를 해결하기 어렵습니다.