대형 언어 모델에서의 문화 인식 기계 번역: 벤치마킹 및 조사

대형 언어 모델 (LLMs) 은 일반적인 기계 번역에서 강력한 성능을 달성했지만, 문화 인식 시나리오에 대한 능력은 여전히 잘 이해되지 않고 있습니다. 이 격차를 해소하기 위해 우리는 기계 번역용 문화 인식 신조어 구동 병렬 데이터셋인 CanMT 를 소개하며, 문화 번역 품질을 평가하기 위한 이론적으로 정립된 다차원 평가 프레임워크를 제공합니다. CanMT 를 활용하여 다양한 번역 전략 제약 조건 하에서 광범위한 LLM 과 번역 시스템을 체계적으로 평가했습니다. 우리의 결과는 모델 간 상당한 성능 격차를 드러냈으며, 번역 전략이 모델 동작에 체계적인 영향을 미친다는 것을 보여줍니다. 추가 분석을 통해 문화 특정 항목의 유형에 따라 번역 난이도가 다르며, 모델의 문화 특정 지식 인식 능력과 이를 번역 출력에서 올바르게 구현하는 능력 사이에 지속적인 격차가 존재함을 확인했습니다. 또한, 참조 번역을 포함하는 것이 LLM-as-a-judge 에서 평가 신뢰도를 크게 향상시킨다는 결과가 나왔으며, 이는 문화 인식 번역 품질 평가에서의 필수적인 역할을 강조합니다. 코퍼스와 코드는 CanMT 에서 이용 가능합니다.