딥페이크 음성 탐지기는 실제로 무엇을 듣는가?

딥페이크 음성 탐지기(Deepfake speech detectors)는 오디오 샘플이 왜 플래그(flag)되었는지, 신호의 어느 부분에 증거가 있는지, 또는 어떤 단서가 결정을 유도했는지 설명하지 않은 채 종종 단일 점수만을 출력합니다. 우리는 시간 축에 따라 결정 증거를 국지화(localize)하기 위해, 시간 정렬된 자기지도 표현(time-aligned self-supervised representations)에 통합 기울기(Integrated Gradients)를 사용하는 오디오 네이티브 설명 가능성 파이프라인(audio-native explainability pipeline)을 제안합니다. 우리는 제안된 방법을 ASVspoof 5 데이터셋에 대해 세 가지 WavLM 기반 탐지기(AASIST, CA-MHFA, SLS)에 적용하고, 가장 중요한 단서의 의미론적 의미(semantic meaning)를 제공하기 위해 가장 높은 기여도(attribution)를 가진 영역을 수동으로 주석(annotate) 처리했습니다. 유사한 성능에도 불구하고, 탐지기들은 서로 다른 단서에 의존합니다: AASIST는 비음성/환경 단서(non-speech/environment cues)를 강조하고, CA-MHFA는 국지적인 음소 아티팩트(localized phoneme artifacts)에 집중하며, SLS는 단어 경계(word boundaries)와 스펙트럼 무결성(spectral integrity)에 의존합니다. 우리는 추측에 기반한 추론을 넘어, 주요 탐지기 단서의 인과적 마스킹(causal masking)을 통해 우리의 발견을 검증합니다. 관찰된 성능 저하는 설명된 탐지기 의미론(detector semantics)을 더욱 뒷받침합니다.