기계 번역 품질은 어디까지 도달할 수 있는가? 목표 지향적 설정에서의 외재적 담화 평가

기존의 기계 번역 (MT) 지표와 담화 중심 평가들은 번역 오류가 초래하는 하류(downstream) 결과들을 측정하지 않고, 주로 번역 품질을 내재적 (intrinsically)으로 평가합니다. 본 연구에서는 정적 (static) 및 상호작용적 (interactive)이라는 두 가지 뚜렷한 체제 하에서 기계 번역의 외재적 (extrinsic) 담화 평가에 초점을 맞춥니다. 정적 체제 하에서는 담화 내 지칭 일관성 (referential consistency)을 조사하기 위한 탐침 (probe)으로서 엔티티 카운팅 (entity counting) 작업을 제안합니다. 우리는 높은 내재적 MT 품질이 하류 담화의 성공을 안정적으로 예측하지 못하며, 강력한 MT 시스템들도 여전히 지칭 불일치를 생성한다는 것을 보여줍니다. 상호작용적 체제 하에서는 장기적 의사소통과 조율을 조사하기 위한 탐침으로서 목표 지향적 다중 에이전트 Welfare Diplomacy 게임을 연구합니다. 우리는 상호작용 특유의 번역 실패가 하류 조율에 영향을 미친다는 것을 발견했습니다. 우리의 결과는 목표 지향적 환경이 담화에 민감한 외재적 MT 평가를 위한 실행 가능한 프레임워크임을 강조합니다.