대화는 양자 간 문제: 풀 듀플렉스 대화 모델의 이지적 평가

풀 듀플렉스(Full-duplex) 음성 대화 모델은 듣기와 말하기를 동시에 수행하여, 순차적 시스템이 제공할 수 없는 자연스럽고 낮은 지연 시간의 상호작용을 음성 에이전트가 할 수 있도록 합니다. 그러나 이러한 모델들은 일반적으로 단방향의 상대방(interlocutor)을 대상으로 평가됩니다. 즉, 반응할 수 없는 녹음된 오디오 파일이거나, 실시간으로 반응하지만 고정된 일련의 테스트만을 진행하고 점수를 매기지 않는 자동화된 시험관입니다. 이러한 단방향 프레임워크는 턴 테이킹(turn-taking), 중첩(overlap), 그리고 끼어들기(interruption)가 두 개의 연결된 화자(coupled speakers)의 공동 산물인 '양자 간 문제'의 절반만을 평가합니다. 우리는 DyaFDB라는 프레임워크를 제안하며, 이는 이지적(dyadic) 설정에서 풀 듀플렉스 모델을 평가합니다. 즉, 두 개의 모델이 할당된 역할을 맡아 협력적이거나 상충하는 목표를 가지고 직접 대화하고, 양쪽 모두 외부 심사위원(external judge)에 의해 오프라인으로 점수가 매겨집니다. DyaFDB는 두 모델이 서로에게 어떻게 행동하는지, 예를 들어 턴을 주고받거나 다른 관심사 하에서 할당된 역할을 수행하는 방식 등을 탐구합니다. 우리는 네 가지 작업을 140가지 시나리오로 구현하고 7,560개의 대화를 기록했으며, 이는 여섯 쌍의 자체 플레이(self-play) 및 교차 플레이(cross-play) 조합을 다룹니다. 실험 전반에 걸쳐, 모델이 어떻게 행동하는지가 지속적으로 파트너를 재구성한다는 것을 관찰했습니다. 따라서 각 모델은 다른 모델에게 시험관이자 피시험자 역할을 모두 수행해야 하며, 단 하나의 고정된 상대방으로는 두 역할을 모두 할 수 없다는 것을 입증합니다. 우리는 사전에 녹음된 오디오 없이, 두 풀 듀플렉스 모델 간의 시나리오, 역할 프롬프트, 그리고 기록 프로토콜을 공개할 것입니다.