실시간 다자간 음성 에이전트를 위한 적응형 발화권 교대

요약

본 논문은 다자간 구두 대화에서 발화권 교대 문제를 해결하기 위해 역할극(role-playing) 음성 에이전트인 ModeratorLM을 제안합니다. 이 시스템은 스트리밍 기반의 음성 LLM과 CoT 추론을 통합했으며, RolePlayConv라는 대규모 합성 데이터셋을 구축했습니다. 실험 결과, 기존 방식 대비 발화권 교대 정밀도와 재현율이 크게 향상됨을 입증했습니다.

핵심 포인트

• 다자간 음성 에이전트의 핵심 과제인 발화권 교대를 다룸.
• ModeratorLM은 역할극 기반으로 작동하는 스트리밍 음성 LLM이다.
• RolePlayConv라는 대규모 합성 데이터셋을 구축하여 성능 검증에 활용했다.
• 역할 조건화를 통해 발화권 교대 정밀도와 재현율이 크게 향상되었다.