인간-AI 협업에서 음성 번역에 대한 사용자의 멘탈 모델(Mental Models) 측정

수백만 명의 사람들이 매일 기계 번역 (MT) 도구를 사용하지만, 시스템이 무엇을 할 수 있고 무엇을 할 수 없는지에 대한 사용자들의 인식에 대해서는 알려진 바가 거의 없습니다. 본 논문은 교차 언어 질의응답 (cross-lingual question answering)에 기반한 새로운 프레임워크를 통해 음성 번역 시스템에 대한 사용자의 멘탈 모델 (mental models)을 연구합니다. 이 프레임워크에서 사용자들은 외국어로 제시된 정보에 기반하여 질문에 답하기 위해 MT 출력을 수락하거나 전문적인 재번역을 요청합니다. 다양한 번역 품질에 따른 사용자 행동과 정확도 추세를 분석함으로써, 우리는 사용자들이 시스템이 어디에서 틀릴 가능성이 높은지 어느 정도까지 예측할 수 있는지, 그리고 이러한 멘탈 모델이 어떻게 진화하는지를 조사합니다. 사용자들은 연습을 통해, 특히 출발어 (source language)에 대한 지식이 어느 정도 있을 때 더 강력한 멘탈 모델을 구축하며, 주로 표면적인 오류 단서 (surface-level error cues)에 의존합니다. 또한, 음성 전사 (speech transcriptions)를 제공하는 것은 사용자가 더 나은 멘탈 모델을 구축하는 데 도움이 될 수 있습니다. 우리의 연구 결과는 MT 멘탈 모델을 연구하고 인간-AI 협업에 대한 이해를 증진하기 위한 다운스트림 태스크 (downstream task)로서 교차 언어 질의응답의 가능성을 보여줍니다.