Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
딥페이크 음성 탐지기가 판단 근거를 설명하지 못하는 문제를 해결하기 위해, Integrated Gradients를 활용한 오디오 네이티브 설명 가능성 파이프라인을 제안합니다. WavLM 기반 탐지기들을 분석하여 각 모델이 비음성 단서, 음소 아티팩트, 스펙트럼 무결성 등 서로 다른 단서에 의존함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기딥페이크 음성 탐지기(Deepfake speech detectors)는 오디오 샘플이 왜 플래그(flag)되었는지, 신호의 어느 부분에 증거가 있는지, 또는 어떤 단서가 결정을 유도했는지 설명하지 않은 채 종종 단일 점수만을 출력합니다. 우리는 시간 축에 따라 결정 증거를 국지화(localize)하기 위해, 시간 정렬된 자기지도 표현(time-aligned self-supervised representations)에 통합 기울기(Integrated Gradients)를 사용하는 오디오 네이티브 설명 가능성 파이프라인(audio-native explainability pipeline)을 제안합니다. 우리는 제안된 방법을 ASVspoof 5 데이터셋에 대해 세 가지 WavLM 기반 탐지기(AASIST, CA-MHFA, SLS)에 적용하고, 가장 중요한 단서의 의미론적 의미(semantic meaning)를 제공하기 위해 가장 높은 기여도(attribution)를 가진 영역을 수동으로 주석(annotate) 처리했습니다. 유사한 성능에도 불구하고, 탐지기들은 서로 다른 단서에 의존합니다: AASIST는 비음성/환경 단서(non-speech/environment cues)를 강조하고, CA-MHFA는 국지적인 음소 아티팩트(localized phoneme artifacts)에 집중하며, SLS는 단어 경계(word boundaries)와 스펙트럼 무결성(spectral integrity)에 의존합니다. 우리는 추측에 기반한 추론을 넘어, 주요 탐지기 단서의 인과적 마스킹(causal masking)을 통해 우리의 발견을 검증합니다. 관찰된 성능 저하는 설명된 탐지기 의미론(detector semantics)을 더욱 뒷받침합니다.