프롭 시프트가 공정성 해결책이 아닌 이유: 음성 모델에서의 표현 제어(Representation Steering)의 한계

요약

본 연구는 ASR 시스템의 화자 그룹별 오류율 격차를 줄이기 위해 내부 표현에 개입하는 '표현 제어(Representation Steering)' 기법을 탐구했습니다. Whisper, HuBERT 등 다양한 인코더를 사용하여 성별/성, 연령, 억양 등의 메타데이터 기반 방향성을 주입했으나, WER 감소 효과는 미미하거나 통계적으로 유의하지 않았습니다.

핵심 포인트

• 표현 제어 기법이 ASR 오류율 격차 해소에 큰 도움이 되지 않음.
• 성별 라벨은 높은 디코딩 가능성을 보였으나, 실제 WER 개선으로 이어지진 않음.
• 단순한 선형적 가독성은 인과적 사용의 증거가 될 수 없음.
• 음성 편향 개입은 표현, 전파, 작업 수준에서 종합 평가 필요.