LLM Refinement은 실제로 무엇을 개선하는가? 문서 수준의 문학 번역에 대한 체계적 연구

요약

본 논문은 문서 규모의 문학 번역에 대한 반복적인 자기 개선(Iterative self-refinement) 전략을 체계적으로 연구합니다. 9개의 LLM과 7개 언어 쌍을 대상으로 실험한 결과, 가장 효과적이고 안정적인 향상을 가져오는 방법은 문서 수준 MT 후 세그먼트 수준의 개선을 적용하는 것임을 발견했습니다. 또한, 오류 특정 프롬프트보다 단순하고 일반적인 개선 프롬프트가 일관되게 우수하며, 개선으로 인한 이득은 주로 유창성, 스타일, 용어에서 나타나고 적절성에서의 개선은 제한적이라는 결론을 제시합니다.

핵심 포인트

• 문서 규모의 MT 개선에 가장 효과적인 조합은 문서 수준 번역 후 세그먼트 수준 개선이다.
• 오류 특정 프롬프트보다 단순하고 일반적인 개선 프롬프트가 일관되게 우수한 성능을 보인다.
• 개선을 통한 이득은 주로 유창성(Fluency), 스타일(Style), 용어(Terminology)에서 발생하며, 적절성(Adequacy)에서의 개선은 제한적이다.
• 개선 과정은 특정 오류를 수정하기보다는 개선기 자체의 분포 방향으로 출력을 투영하는 경향이 있다.