기계 번역을 활용한 그래픽 디자인 텍스트 스타일 전이

마케팅 자료나 잡지 등에 사용되는 그래픽 디자인의 글로벌화는 광범위한 대중과의 소통에 있어 점점 더 중요해지고 있습니다. 이를 달성하기 위해서는 그래픽 디자인 내의 텍스트 콘텐츠가 정확하게 번역되고, 시각적으로 디자인에 어울리도록 텍스트 스타일이 유지되어야 합니다. 텍스트 스타일을 유지하려면 원본 텍스트와 번역된 텍스트 간의 높은 정확도의 단어 정렬(word alignment)이 필요합니다. 소스 텍스트와 번역 텍스트 간의 단어 정렬 문제는 오랫동안 알려져 왔습니다. 단어 정렬을 추출하기 위한 산업 표준은 Giza++ 와 신경망 기계 번역 (NMT) 모델의 주의 확률 (attention probabilities) 에 의해 정의됩니다. 본 논문에서는 소스에서 번역된 텍스트로 텍스트 스타일을 전이하기 위한 단어 정렬 문제를 해결하는 세 가지 새로운 방법을 탐구합니다. 제안된 방법들은 상용화 가능한 NMT 와 LLM 번역 기술 위에 구축되었습니다. 이들은 다음을 포함합니다: 텍스트 스타일링을 위한 커스텀 입력 및 출력 태그가 있는 NMT; 커스텀 입력 및 출력 태그가 있는 LLM; NMT 를 사용한 번역 후 일관 (unigram) 매핑을 사용하는 LLM 을 활용한 하이브리드 방식입니다. 이러한 솔루션의 성능을 분석하기 위해, 그 정렬 결과를 그래픽 디자인 애플리케이션에서의 사용성을 평가하기 위한 주의 헤드 (attention head) 접근법의 결과와 비교했습니다. 흥미롭게도, 주의 헤드 기반의 강력한 베이스라인은 LLM 이나 NMT 접근법보다 더 정확하며, 하이브리드 NMT+LLM 접근법과도 동등한 성능을 보였습니다.