창의성 편향: 기계 평가가 문학 번역의 창의성을 다루는 데 겪는 어려움

요약

이 논문은 다양한 언어와 장르에 걸친 문학 번역의 창의성 평가에 자동 평가 지표(AEMs)와 LLM-as-a-judge 방식을 적용하여 그 성능을 조사했습니다. 연구 결과, AEMs와 LLM-as-a-judge 모두 전문가들의 창의성 평가와 낮은 상관관계를 보였으며, 특히 LLM-as-a-judge는 기계 번역에 유리하고 문화적으로 적절한 해결책에 패널티를 주는 체계적인 편향을 나타냈습니다. 이는 문학 번역 분야에서 현재 자동화된 평가 도구들이 가진 근본적인 한계를 보여줍니다.

핵심 포인트

• 자동 평가 지표(AEMs)와 LLM-as-a-judge는 문학 번역의 창의성 평가에 있어 전문가 의견과 낮은 상관관계를 보인다.
• LLM-as-a-judge는 기계 번역된 텍스트에 유리하게 작용하는 체계적인 편향을 보였다.
• 시(poetry)와 같이 문학성이 높은 장르일수록 자동 평가 도구의 성능이 일관되게 낮다.
• 문학 번역의 창의성을 제대로 평가하기 위해서는 관습에서 벗어난 결과물을 오류로 간주하지 않는 새로운 평가 도구가 필요하다.