Whisper를 활용한 음성 신뢰도 감지를 위한 준지도 학습 프레임워크

요약

본 논문은 Whisper 인코더 임베딩과 해석 가능한 음향 특징(eGeMAPS) 및 목소리 스트레스/비유창성 보조 확률을 결합한 준지도 하이브리드 프레임워크를 제안합니다. 이 프레임워크는 레이블링되지 않은 데이터에서 불확실성을 인식하며 가짜 레이블을 생성하고 고품질 샘플만 학습에 활용하는 전략을 도입하여, 희귀 정답 데이터 의존도를 낮춥니다. 실험 결과, 본 접근 방식은 WavLM, HuBERT 등 기존 자기 지도 학습 모델들을 능가하는 성능(Macro-F1 0.751)을 달성했습니다.

핵심 포인트

• Whisper 임베딩과 eGeMAPS 같은 해석 가능한 음향 특징을 결합한 하이브리드 프레임워크를 제안함.
• 불확실성 인식 가짜 레이블링(Uncertainty-Aware Pseudo-Labelling) 전략을 사용하여 데이터 부족 문제를 해결함.
• 제안된 모델은 WavLM, HuBERT 등 기존 자기 지도 학습 기반 모델보다 우수한 성능을 입증함 (Macro-F1 0.751).
• 데이터의 양보다는 고품질 가짜 레이블링을 통한 데이터 품질이 신뢰도 감지에서 더 중요함을 확인시켜 줌.