숨 쉬는 음성 LLM: 대화에서 비언어적 발성을 모델링하기

요약

본 연구는 인간 대화의 비언어적 발성(NVVs)을 모델링하여 음성 상호작용 모델의 자연스러움을 개선하는 방법을 제시합니다. 13가지 주요 NVV를 포함한 데이터셋을 구축하고, 다단계 미세 조정 및 GRPO 기법을 적용해 문맥적으로 적절한 비언어적 발성을 생성하는 능력을 향상시켰습니다.

핵심 포인트

• 인간 대화의 자연스러움을 위해 NVV(비언어적 발성) 모델링이 중요함.
• 13가지 주요 NVV를 포함한 새로운 데이터셋을 구축하여 연구에 활용함.
• 다단계 미세 조정과 GRPO 기법으로 NVV 생성 능력을 향상시킴.
• 공감 상호작용 및 역할극 대화에서 모델 성능 개선 효과가 입증됨.