자연스러운 인간의 대화는 전이중(Full-Duplex) 방식이며 시청각적(Audio-visual)입니다. 사람들은 동시에 말하고 듣는 동시에, 고개 끄덕임, 미소, 제스처와 같은 비언어적 신호(Nonverbal cues)를 지속적으로 해석하고 생성합니다. 성공적인 인간-에이전트 상호작용(Human-agent interaction)을 지원하기 위해, 에이전트는 전이중 시청각 대화를 모델링해야 합니다. 그러나 기존의 전이중 벤치마크(Benchmarks)는 음성(Speech)만을 평가합니다. 본 연구에서는 전이중 시청각-대-시청각(AV2AV) 대화형 에이전트를 평가하는 최초의 벤치마크인 VideoFDB를 제시합니다. VideoFDB는 다음과 같은 기여를 합니다: (i) 실제 화상 통화에서 추출한 11가지 비언어적 대화 역학(Nonverbal conversational dynamics)을 포괄하는 237개의 이자적(Dyadic) 클립, (ii) 인지(Perception)와 생성(Generation) 행동을 분리하는 분류 체계(Taxonomy), (iii) 비언어적 대화 역학 측면에서 대화 품질을 평가하기 위해 해석 가능한 축을 가진 루브릭 기반의 LM-as-judge(언어 모델을 판사로 활용하는) 평가 프레임워크입니다. 오픈 소스 및 폐쇄형 소스 시각-음성 에이전트들을 대상으로 조사한 결과, 캡셔닝 붕괴(Captioning collapse) 및 시각 스트림 무시(Visual-stream ignorance)와 같은 체계적인 실패 모드(Failure modes)를 발견했습니다. 또한 현재의 시스템들이 명시적인 시각적 질의응답(Visual question answering)을 위해서는 시각 정보를 활용하지만, 자연스러운 대화에 필요한 스트리밍 방식의 공동 시청각 접지(Streaming joint audiovisual grounding)에는 활용하지 못함을 보여줍니다. 나아가 우리는 계층형 음성-대-아바타(Speech-to-avatar) 시스템을 평가하였으며, 이들의 아키텍처(Architecture)가 근본적으로 전이중 비언어적 신호의 생성을 가로막는다는 것을 확인했습니다. 전이중 AV2AV 상호작용을 위한 최초의 벤치마크로서, VideoFDB는 체계적인 평가를 위한 토대를 마련하며, 차세대 멀티모달(Multimodal) 대화형 에이전트의 발전과 개발을 가속화하기를 기대합니다.