대형 언어 모델에서의 문화 인식 기계 번역: 벤치마킹 및 조사

요약

본 논문은 대형 언어 모델(LLMs)이 일반 기계 번역에서는 강력하지만, 문화적 맥락을 이해하는 번역 능력에는 여전히 격차가 있음을 지적합니다. 이를 해결하기 위해 'CanMT'라는 문화 인식 신조어 구동 병렬 데이터셋과 다차원 평가 프레임워크를 제시했습니다. 연구 결과, 다양한 번역 전략 제약 조건 하에서 모델 간 성능 차이가 크며, 특히 문화 특정 항목의 유형에 따른 난이도와 모델의 지식 구현 능력 사이의 격차가 존재함을 확인했습니다.

핵심 포인트

• LLMs는 일반 기계 번역에서는 우수하지만, 문화적 맥락을 반영한 번역에는 한계가 있다.
• 연구진은 문화 인식 능력을 평가하기 위해 'CanMT'라는 새로운 병렬 데이터셋과 다차원 평가 프레임워크를 개발했다.
• 번역 전략의 제약 조건이 모델의 최종 번역 성능에 체계적이고 큰 영향을 미친다.
• 평가 신뢰도를 높이기 위해서는 참조 번역(reference translation)을 포함하는 것이 필수적이다.