음성 감정 인식(SER)을 위한 오디오 언어 모델(ALM)의 음향 단서 정렬

요약

본 연구는 오디오 언어 모델(ALM)이 음성 감정 인식(SER) 시 음향 단서를 효과적으로 활용하는지 분석합니다. 6개의 해석 가능한 음향 개념 토큰을 도출하여 텍스트 프롬프트에 추가함으로써 모델의 성능과 해석 가능성을 검증했습니다.

핵심 포인트

• 6개의 음향 개념 토큰(에너지, 피치 등)을 통한 음향 단서 정렬
• 정렬된 토큰 사용 시 FAU-Aibo 및 IEMOCAP 벤치마크 성능 향상
• 토큰 섭동에도 예측이 유지되는 오디오 신호 기반의 강건성 확인
• ALM 기반 감성 컴퓨팅의 해석 가능성 조사 방법론 제시