자기지도 화성인식 모델의 음소 레벨 임베딩 내 인구통계학적 불공정성 식별 및 유형화

최근 전반적인 성능 향상에 불구하고, 현대 자동 화성인식 (ASR) 시스템은 특정 화자 그룹 (SGs) 에 대해 다른 그룹보다 더 잘 작동하는 것으로 관찰되었습니다. 공정한 ASR 로의 진전을 저해할 잠재적 요인은 화성 인코더 모델이 범하는 모델링 오류의 유형에 대한 더 세밀한 이해, 특히 고성과 및 저성능 SGs 의 임베딩 구조 간의 차이입니다. 본 논문은 ASR 시스템에서 음소를 모델링할 때 발생할 수 있는 두 가지 유형의 오류를 유형화하는 프레임워크를 제안합니다: 음소 임베딩 내 무작위 오류/고분산 대 체계적 오류/임베딩 편향입니다. 우리는 단일, 일반적으로 불리한 SG 에만 화성인 분류 탐침 (probe) 을 훈련시키는 것이 때때로 해당 SG 의 성능을 향상시킨다는 것을 발견했습니다. 이는 음소 임베딩 내 SG 레벨 편향이 존재한다는 증거입니다. 반면, 우리는 더 높은 수준의 음소 분산을 가진 화자와 SG 가 더 나쁜 음소 예측 정확도를 가진 것과 동일하다는 것을 발견했습니다. 우리는 두 가지 유형의 오류가 모두 음소 임베딩에 존재하며 둘 다 ASR 의 SG 레벨 불공정성의 잠재적 원인임을 결론지었습니다. 다만, 무작위 오류는 체계적 오류보다 공정성에 대한 더 큰 방해 요인일 가능성이 있습니다. 또한, 우리는 공정성 향상 알고리즘 (도메인 향상 및 적대적 훈련) 을 사용하여 인코더 모델을 미세 조정 (finetuning) 하더라도 도메인 내 음소 분류 탐침 훈련의 이점이나 측정된 무작위 임베딩 오류 수준에는 변화가 없음을 발견했습니다.