LLM Refinement은 실제로 무엇을 개선하는가? 문서 수준의 문학 번역에 대한 체계적 연구

반복적인 자기 개선 (Iterative self-refinement)은 기계 번역 (Machine Translation)을 위한 간단한 추론 시점 (Inference-time) 전략입니다. 즉, LLM이 여러 번의 추론 과정을 거치며 자신의 번역을 스스로 수정하는 방식입니다. 하지만 문서 규모 (Document-scale)의 개선에 대해서는 여전히 이해가 부족한 상태입니다: 1) 어떤 파이프라인 (Pipeline)이 가장 효과적인지, 2) 어떤 품질 차원 (Quality dimensions)이 개선되는지, 3) 개선기 (Refiner)가 어떻게 동작하는지에 대한 연구가 미비합니다. 본 논문에서는 9개의 LLM과 7개의 언어 쌍을 대상으로 문서 수준의 문학 번역에 대한 체계적인 연구를 제시합니다. 9가지의 번역-개선 입도 (Granularity) 조합과 5가지 개선 전략을 통해, 우리는 강력한 레시피를 발견했습니다: 문서 수준의 MT를 수행한 후 세그먼트 수준 (Segment-level)의 개선을 진행하는 것이 강력하고 안정적인 향상을 가져옵니다. 이와 대조적으로, 문서 수준의 개선은 종종 편집 횟수가 적으며, 더 작거나 신뢰도가 낮은 이득으로 이어집니다. 입도 외에도, 단순하고 일반적인 개선 프롬프트 (General refinement prompt)가 오류 특정 프롬프트 (Error-specific prompting) 및 평가 후 개선 (Evaluate-then-refine) 체계보다 일관되게 우수한 성능을 보입니다. 우리의 대규모 인간 평가 (Human evaluation) 결과에 따르면, 개선을 통한 이득은 주로 유창성 (Fluency), 스타일 (Style), 용어 (Terminology)에서 발생하며, 적절성 (Adequacy)에서의 개선은 제한적이고 일관성이 낮았습니다. 모델의 강도를 변화시킨 실험을 통해, 개선 과정이 타겟팅된 오류 수정 (Error repair)을 수행하기보다는 개선기의 분포 (Refiner's distribution)를 향해 출력을 투영한다는 것을 밝혀냈습니다. 이러한 발견은 현재의 개선 접근 방식의 메커니즘과 한계를 명확히 합니다.