Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
음성 번역(ST)의 실제 통신 사용성을 측정하기 위한 사용자 중심 프레임워크인 Ouvia를 제안합니다. 연구 결과, 현대 ST 시스템은 상호작용의 절반 정도만 유효하며 인구 통계적 그룹 간 사용성 격차가 존재함을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기음성 번역 (Speech Translation, ST)은 사용자 애플리케이션에서 점점 더 많이 채택되고 있지만, 그 평가는 최종 사용자의 통신 요구 사항보다는 맥락이 제거된 테스트베드와 전체적인 품질에 주로 집중되어 있습니다. 우리는 실제 환경에서 음성 번역 출력물의 사용자 인지 사용성 (user-perceived usability)을 측정하기 위한 평가 프레임워크인 Ouvia를 소개합니다. Ouvia는 일대일 통신에 초점을 맞춥니다. 즉, 영어 화자가 포르투갈어 화자에게 요청을 전달해야 하며, 메시지는 자동으로 번역됩니다. 맞춤형 웹 앱과 다단계 연구 설계를 통해, 우리는 의료 및 일상 상황에서 4개의 ST 시스템을 매개로 하여 3개의 영어 방언과 2개의 성별을 가진 화자들이 참여한 1,750개 이상의 상호작용을 수집했습니다. 우리는 현대의 ST가 사람들에게 제한적인 범위 내에서만 기여하고 있다는 것을 발견했습니다. 즉, 상호작용의 약 절반만이 사용 가능한 것으로 평가되었으며, 인구 통계 그룹 간에 보고된 사용성에서 상당한 격차가 나타났습니다. 또한, 품질 지표 중에서 QA 기반 평가 (QA-based evaluation)가 표준적인 접근 방식보다 실제 사용성을 훨씬 더 강력하게 예측한다는 것을 발견했습니다. 종합적으로, 이러한 발견은 전체적인 품질 점수를 넘어 기술이 누구를 위해 작동하는지, 그리고 얼마나 잘 작동하는지에 주목하는 상황 맥락적이고 사용자 중심적인 평가 프레임워크의 중요성을 강조합니다.