딥페이크 음성 데이터셋의 윤리적 및 기술적 한계

딥페이크 음성 탐지기 (deepfake speech detectors)의 강건성 (robustness) 및 공정성 (fairness)에 대한 주장은 해당 시스템을 훈련하고 평가하는 데 사용된 데이터셋만큼만 신뢰할 수 있습니다. 본 연구에서는 딥페이크 음성 환경에 대한 데이터셋 수준의 감사 (audit)를 제시합니다. 우리는 39개의 딥페이크 음성 데이터셋을 수집 및 분석하여 접근성 (accessibility), 문서화 (documentation), 인구 통계 및 언어 범위 (demographic and language coverage), 데이터셋 규모 (dataset scale), 그리고 기반이 되는 실제 음성 소스 (bona fide speech sources)를 포함한 주요 속성들을 조사합니다. 우리의 감사 결과는 두 가지 중요한 시사점을 드러냅니다. 첫째, 대부분의 데이터셋에 인구 통계적 메타데이터 (demographic metadata)가 부족하고, 성별이나 언어 레이블 (labels)을 포함하는 데이터셋이 소수에 불과하기 때문에 공정성 평가 (fairness assessment)가 대체로 불가능합니다. 이는 의미 있는 하위 그룹 분석 (subgroup analysis)을 방해하며 다른 인구 통계적 속성들을 다루지 못한 채 남겨둡니다. 둘째, 데이터셋 전반에 걸쳐 기반이 되는 실제 소스 코퍼스 (bona fide source corpora) 사이에 상당한 중복이 있음을 확인하였으며, 이는 데이터셋 간 평가 (cross-dataset evaluation)를 저해하고 과장된 일반화 주장 (generalization claims)으로 이어질 수 있습니다.