PRISM: 공감형 음성 대화를 위한 운율 통합 멀티 에이전트 추론 프레임워크

공감형 음성 대화 시스템(Empathetic spoken dialogue systems)은 의미론적으로 적절한 응답뿐만 아니라 정서적으로 일치하는 운율적 표현(prosodic expression)을 필요로 합니다. 그러나 계층적 파이프라인(cascade pipelines)은 음성-텍스트 변환(speech-to-text conversion) 과정에서 음향적 단서(acoustic cues)를 버리는 경우가 많으며, 엔드투엔드(end-to-end) 음성 모델은 감정과 지식 통합에 대한 해석 가능한 제어 능력이 부족합니다. 이러한 과제를 해결하기 위해, 우리는 음성 인지(speech perception), 응답 생성(response generation), 음성 합성(speech synthesis)을 조정된 구성 요소로 분리하는 공감형 음성 대화를 위한 멀티 에이전트 프레임워크인 PRISM을 제안합니다. PRISM은 대규모 언어 모델(Large Language Model, LLM)의 추론을 안정화하기 위해 운율-언어 번역(prosody-to-language translation) 메커니즘을 도입하며, 공감형 대화 생성을 위해 외부 지식 도구(external knowledge tools)를 온디맨드(on-demand) 방식으로 호출할 수 있게 합니다. 실험 결과, PRISM은 객관적 및 주관적 지표 전반에서 공감도, 운율의 적절성, 텍스트 응답 생성 품질 측면에서 일관된 개선을 달성함을 입증했습니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/Bxzfrm/PRISM.