입술 읽기 격차: VSR 모델은 인간 입술 읽기 전문가처럼 시각적 언어를 인지하는가?

시각적 음성 인식 (Visual speech recognition, VSR) 모델은 이제 벤치마크에서 인간 입술 읽기 전문가를 능가하고 있지만, 이러한 성능 향상이 인간과 유사한 시각적 언어 인지 능력을 확립한 것일까요? 이를 탐구하기 위해, 우리는 단어 (word), 문자 (character), 음소 (phoneme), 그리고 시제임 (viseme) 수준의 지표를 사용하여 MaFI 단어 수준 입술 읽기 데이터셋에서 세 가지 VSR 시스템을 인간 기준점 (baselines)과 비교합니다. 모델들이 전반적으로 더 높은 정확도를 달성함에도 불구하고, 모델이 성공하거나 실패하는 단어는 인간과 다릅니다. 단 몇 개의 초기 음소만 제공된 텍스트 전용 n-gram 기준점은 인간의 입술 읽기와 대등한 성능을 보입니다. VSR의 단어 수준 오류는 단어의 시각적 정보성 (visual informativeness)보다는 훈련 단어 빈도 (training word frequency)에 의해 일관되게 더 잘 설명됩니다. 시제임 정확도, 혼동 행렬 (confusion matrices), 그리고 인간-모델 상관관계는 모델이 인간이 가장 어렵다고 느끼는 시제임에서 가장 큰 이득을 얻으며, 시각적 명확성 (visual clarity)에 대한 의존도는 훨씬 약하다는 것을 추가로 보여줍니다. 우리의 연구는 VSR 시스템이 시각적 인지보다는 주로 훈련 데이터의 언어적 단서 (language cues)에 의존하며, 시각적 특징을 의미 있는 단어로 결합 (bind)하는 데 실패한다는 것을 입증합니다.