계속, 적응, 또는 양보: 풀-듀플렉스 에이전트의 오버래핑 음성에 대한 턴 내(In-Turn) 적응

요약

본 논문은 기존의 이분법적 평가 기준을 넘어, 사람이 대화 중 상대방의 발언을 통합하며 말을 이어가는 '턴 내 적응(in-turn adaptation)'을 측정하는 Duplex Cue를 제안합니다. 이를 통해 에이전트가 청자의 의도와 화자 행동에 어떻게 반응하는지 세밀하게 평가할 수 있습니다.

핵심 포인트

• 기존의 이분법적 평가는 턴 내 적응 같은 복잡한 인간 상호작용을 포착하지 못함.
• Duplex Cue는 청자의 의도(백채널, 협업, 중단)와 화자 행동을 분리하여 평가함.
• 실험 결과, 에이전트 모델은 실제 인간의 적응률(68.2%)에 크게 미치지 못하는 34.8% 수준이었음.
• 자연스러운 음성 상호작용 평가는 단순히 말하기 지속 여부를 넘어 청자의 기여 반응을 측정해야 함.