음성 번역 (Speech Translation, ST)은 사용자 애플리케이션에서 점점 더 많이 채택되고 있지만, 그 평가는 최종 사용자의 통신 요구 사항보다는 맥락이 제거된 테스트베드와 전체적인 품질에 주로 집중되어 있습니다. 우리는 실제 환경에서 음성 번역 출력물의 사용자 인지 사용성 (user-perceived usability)을 측정하기 위한 평가 프레임워크인 Ouvia를 소개합니다. Ouvia는 일대일 통신에 초점을 맞춥니다. 즉, 영어 화자가 포르투갈어 화자에게 요청을 전달해야 하며, 메시지는 자동으로 번역됩니다. 맞춤형 웹 앱과 다단계 연구 설계를 통해, 우리는 의료 및 일상 상황에서 4개의 ST 시스템을 매개로 하여 3개의 영어 방언과 2개의 성별을 가진 화자들이 참여한 1,750개 이상의 상호작용을 수집했습니다. 우리는 현대의 ST가 사람들에게 제한적인 범위 내에서만 기여하고 있다는 것을 발견했습니다. 즉, 상호작용의 약 절반만이 사용 가능한 것으로 평가되었으며, 인구 통계 그룹 간에 보고된 사용성에서 상당한 격차가 나타났습니다. 또한, 품질 지표 중에서 QA 기반 평가 (QA-based evaluation)가 표준적인 접근 방식보다 실제 사용성을 훨씬 더 강력하게 예측한다는 것을 발견했습니다. 종합적으로, 이러한 발견은 전체적인 품질 점수를 넘어 기술이 누구를 위해 작동하는지, 그리고 얼마나 잘 작동하는지에 주목하는 상황 맥락적이고 사용자 중심적인 평가 프레임워크의 중요성을 강조합니다.